Początek lipca przyniósł nam zmiany dotyczące pliku robots.txt.

Google po 25 lat prac udostępniło na GitHubie kod swojego parsera pliku robots.txt.

Jest to działanie mające unormować sytuacje nieformalnego standardu dotyczącego REP czyli Robot Exclusion Protocol.

REP do tej pory był tylko umownym standardem i każda przeglądarka lub narzędzie mogło go przestrzegać lub nie.

Udostępnienie kodu wg Google powinno pomóc w tym by z zasad stworzyć standard.

Przy okazji udostępnienia kodu parsera Google postanowiło wyczyścić go z niewspieranych i nieudokumentowanych reguł.

Dotyczy to crawl-delay, nofollow i noindex. …Czytaj dalej »