Gdy roboty Google lub innej wyszukiwarki wchodzą pierwszy raz, w sesji, na witrynę to właśnie plik robots.txt jest pobierany i przetwarzany przed pobraniem jakiejkolwiek innego adresu.

Czasami nie zdajemy sobie sprawy ile razy dziennie taki plik jest wywoływany. Trzeba dodać, że najczęściej nawet nie zdajemy sobie sprawy, że taki plik istnieje.

Po co więc ten plik jest i dlaczego Google zwraca na niego uwagę ?

Jest to plik, w którym dodajemy informacje gdzie mogą a gdzie nie mogą wchodzić boty przeglądarek internetowych.

Kiedyś do tego używany był tylko meta tag robots, którym można było poinformować wyszukiwarkę czy pozwalamy daną stronę indeksować czy też nie.

Ale wykorzystanie do tego kodu strony wymagało wiedzy i możliwości edycji strony.

Dlatego powstał standard robots.txt i plik, w którym każdy z minimalną wiedzą może łatwo to zrobić.
…Czytaj dalej »