Robots.txt – publiczny kod parsera i usunięcie crawl-delay, nofollow, noindex

Początek lipca przyniósł nam zmiany dotyczące pliku robots.txt.

Google po 25 lat prac udostępniło na GitHubie kod swojego parsera pliku robots.txt.

Jest to działanie mające unormować sytuacje nieformalnego standardu dotyczącego REP czyli Robot Exclusion Protocol.

REP do tej pory był tylko umownym standardem i każda przeglądarka lub narzędzie mogło go przestrzegać lub nie.

Udostępnienie kodu wg Google powinno pomóc w tym by z zasad stworzyć standard.

Przy okazji udostępnienia kodu parsera Google postanowiło wyczyścić go z niewspieranych i nieudokumentowanych reguł.

Dotyczy to crawl-delay, nofollow i noindex. … Czytaj dalej »

Googlebot jak Chrome

Google rozwijając swoje usługi stale zmienia algorytmy ustawiania pozycji. Czasami zmiany dotyczą także innych ich narzędzi.

W listopadzie wymieniony został tester prędkości stron co opisałem we wpisie Nowy PageSpeed Insights.

A całkiem niedawno Google ogłosiło duża zmianę w zasadzie funkcjonowania narzędzi, którymi pobierają strony internetowe czyli GoogleBota.

Od teraz Googlebot przy pobieraniu treści będzie używał mechanizmów z najnowszych wersji Chrome. I będzie stale aktualizowany.

Warto dodać, że do tej pory używana była wersja 41, która została opublikowana w macu 2015 roku. Jak wiemy 4 lata w Internecie to wieczność.
… Czytaj dalej »

Mobile-first indexing standardem dla nowych domen

Mobile-first indexing czyli zasada indeksowania stron przez boty dla urządzeń mobilnych jest z nami już przynajmniej od września 2018.

Jeszcze tylko w styczniu i lutym otrzymałem nowe informacje o domenach, dla których zostało “Włączone indeksowanie zoptymalizowane pod kątem urządzeń mobilnych” – tak brzmiał tytuł wiadomości.

Wydawało by się więc, że już wszystkie domeny są tak indeksowane.

Jednak tak nie jest.

Google właśnie ogłosiło, że zasada Mobile-first indexing będzie standardowo włączona od początku dla nowych domen.

Tak więc domen, które nie były jeszcze nigdy indeksowane przez Google. … Czytaj dalej »

Linki ze stron z metatag robots=noindex,follow – test

Meta tag robots to tag, którym kontrolujemy indeksację podstron.

Google i inne “poważne” boty wyszukiwarek bardzo rygorystycznie przestrzegają pozwoleń i zakazów w nim zawartych.

Według zasady częściej ten tag używany jest by zakazywać niż pozwalać. Zakazując możemy użyć dwóch informacji.

Pierwsza z nich to “noindex,nofollow” co oznacza”nie indeksuj i nie podążaj”.
W efekcie tego zapisu strona z takim meta tagiem nie powinna pojawić się w Google. Tak samo w Google nie powinny być widoczne inne strony linkowane tylko z niej.

Zabraniamy przecież indeksacji i przechodzenia przez nią.

Inną informacją, mniej rygorystyczną jest “noindex,follow”. W tej sytuacji strona posiadająca taki meta tag nie powinna znaleźć się w Google ale już linkowane z niej strony tak.

Zapis “noindex,follow” stał się popularny po wdrożeniu przez Google algorytmu Panda, który to jak wiemy zwracał uwagę na powielenie treści.
W wielu serwisach w ten sposób została wdrożona polityka nie indeksowania powieleń np kolejny stron list produktowych ale linkowania z nich by wspierać inne strony witryny, w tym przypadku produkty.

Jednak jakiś czas temu jeden z Googlersów (niestety nie mogę odnaleźć oryginału) powiedział, że strona, która ma noindex,follow nie jest wartościowa dla Google, więc linki z niej niewiele znaczą.

Nie pozostało więc mi nic innego jak przetestowanie tego zagadnienia. … Czytaj dalej »

Google przesłało wspierać rel=“next” i rel=“prev”

Google 15 września 2011 ogłosiło na swoim blogu nowe znaczniki rel=“next” i rel=“prev”, które miały wspomóc indeksowanie kolejnych stron list.

Mechanizm był prosty. Na każdej stronie listy, np produktów czy artykułów. Wskazywany był adres strony poprzedniej i następnej. Czyli na np stronie nr 4 był wskazywany adres strony nr 3 i nr 5 tej listy.

Dzięki temu Google miało być w stanie powiązać lub może połączyć w całość wszystkie strony listy. Tworzony miał być zestaw – jedna lista podzielona na podstrony.

Była teoria mówiąca o tym, że dzięki temu pierwsza strona zyskuje najwięcej.

Od tej pory mechanizm ten był widoczny we wszystkich ważniejszych skryptach i wszystkich zaleceniach SEO.

Można powiedzieć, że parę dni temu, przypadkiem okazało się, że Google nie korzysta już z tych wskazań i to od wielu lat.
… Czytaj dalej »

Następna strona »