Meta tag robots to tag, którym kontrolujemy indeksację podstron.

Google i inne „poważne” boty wyszukiwarek bardzo rygorystycznie przestrzegają pozwoleń i zakazów w nim zawartych.

Według zasady częściej ten tag używany jest by zakazywać niż pozwalać. Zakazując możemy użyć dwóch informacji.

Pierwsza z nich to „noindex,nofollow” co oznacza”nie indeksuj i nie podążaj”.
W efekcie tego zapisu strona z takim meta tagiem nie powinna pojawić się w Google. Tak samo w Google nie powinny być widoczne inne strony linkowane tylko z niej.

Zabraniamy przecież indeksacji i przechodzenia przez nią.

Inną informacją, mniej rygorystyczną jest „noindex,follow”. W tej sytuacji strona posiadająca taki meta tag nie powinna znaleźć się w Google ale już linkowane z niej strony tak.

Zapis „noindex,follow” stał się popularny po wdrożeniu przez Google algorytmu Panda, który to jak wiemy zwracał uwagę na powielenie treści.
W wielu serwisach w ten sposób została wdrożona polityka nie indeksowania powieleń np kolejny stron list produktowych ale linkowania z nich by wspierać inne strony witryny, w tym przypadku produkty.

Jednak jakiś czas temu jeden z Googlersów (niestety nie mogę odnaleźć oryginału) powiedział, że strona, która ma noindex,follow nie jest wartościowa dla Google, więc linki z niej niewiele znaczą.

Nie pozostało więc mi nic innego jak przetestowanie tego zagadnienia.

Co testujemy?

Postanowiłem upiec dwie pieczenie na jednym ogniu i chciałem przetestować:

– czy linki ze stron zawierających meta tag „”noindex,follow” maja wartość. Założyłem, że indeksacja linkowanej strony oznacza, że jest Ok.

– czy linki z takich stron są słabsze od stron bez blokady indeksacji.

Metodologia

Jak przeprowadziliśmy test:
– Wybrane zostały 4 losowe domeny, na których są już witryny.
– Na każdej z nich zostały utworzone 6 par stron – strona A i strona B.
– Strona A linkowała do strony B. Żadne inne linki nie prowadziły do strony B.
– Na każdej witrynie dwie strony a miały meta tag robots „noindex,nofollow”, dwie „noindex,follow” a pozostałe dwie „index, follow”.

– na stronach B dodany został ciąg znaków niewystępujący w Google. Zawsze w tym samym miejscu oraz różny dla każdej strony. Strony miały taką samą ilość znaków ale inną treść.

Wyniki indeksacji stron A

Kontrola indeksacji stron A w 6 dniu.

Na powyższej tabeli zamieściłem jedynie informacje z domeny nr 1. Dla pozostałych domen wynik był taki sam. W szóstym dniu w indeksie Google były strony A o numerze 3 i 6 dla każdej witryny.

Przyznam, że niczego innego nie oczekiwałem.

Wyniki indeksacji i pozycji stron B

Kontrolę wykonaliśmy w dniach 6, 7, 12 i 14.

Co więc widzimy w tabeli?

Strony B o numerze 1 i 4, na żadnej domenie nie zostały zindeksowane i jest to zgodne z oczekiwaniami bo link do nich umieszczony został na stronach z noindex,nofollow.

Strony B 2 i 5 linkowane były ze stron z noindex,follow. I tutaj nastąpiła indeksacja, choć nie wszędzie pełna. Na 32 pomiary (2*4*4) pozycja została oznaczona 18 razy.

Strony B 3 i 6 linkowane były bez żadnych ograniczeń. Także i tutaj nie w każdym pomiarze było 100%. Na 32 pomiary pozycja oznaczona została 26 razy.

Średnia pozycja stron linkowanych poprzez noindex,follow to 2,61 a index,follow to 1,77.

Podsumowanie

Patrząc na wyniki pojawiły mi się dwa wnioski:

– linki ze stron zawierających noindex,follow indeksują podstrony a więc przekazują jakąś wartość.

– linki ze stron zawierających index,follow wydają się mocniejsze. Strony linkowane bez ograniczeń zindeksowane zostały szybciej oraz mają wyższą średnią pozycje. A ostatniego dnia pomiaru każda pozycja pierwsza to była strona 3 lub 6.

Oczywiście warto pamiętać, że test był wykonany na małej liczbie domen i z biegiem czasu przy ich większej ilości mógłby być inny wynik.

Ale obecnie wszystko wskazuje wyraźnie na korzyść stron index,follow.

Jako podsumowanie – myślę, że warto pamiętać o tym by strony, na których nam zależy linkować na stronach, które mogą zostać przez Google zaindeksowane a noindex,follow używać tylko wtedy gdy naprawdę jest to konieczne.