Robots.txt – publiczny kod parsera i usunięcie crawl-delay, nofollow, noindex
komentarze 
Początek lipca przyniósł nam zmiany dotyczące pliku robots.txt.
Google po 25 lat prac udostępniło na GitHubie kod swojego parsera pliku robots.txt.
Jest to działanie mające unormować sytuacje nieformalnego standardu dotyczącego REP czyli Robot Exclusion Protocol.
REP do tej pory był tylko umownym standardem i każda przeglądarka lub narzędzie mogło go przestrzegać lub nie.
Udostępnienie kodu wg Google powinno pomóc w tym by z zasad stworzyć standard.
Przy okazji udostępnienia kodu parsera Google postanowiło wyczyścić go z niewspieranych i nieudokumentowanych reguł.
Dotyczy to crawl-delay, nofollow i noindex.
W oficjalnej informacji zostało podane, że sprawdzili że te reguły poprawnie działały na 0,001% stron internetowych.
Na pozostałych przynosiły problemy.
I to prawda bo używanie crawl-delay od zawsze nie było korzystne. Strony się słabo indeksowany nawet długie miesiące po usunięcie z kodu opóźnienia pobierania.
Także mamy na starcie wakacji już parę ciekawych informacji od Google.
Myślę, że to dobry krok, tylko żeby teraz nie pojawiało się masę reguł używanych tylko przez pojedyncze narzędzia bo może to spowodować chaos.
Kod parsera jest do pobrania z GitHuba a oficjalną informacje od Google znajdziecie na Blogu dla webmasterów Google.
Warto przeglądnąć pliki robots.txt na swojej stronie bądź na stronach klientów, gdyż jest to element zapominany po audycie SEO. Często ten plik edytowany jest tylko podczas początkowych prac, a później się o nim zapomina ;) Czasami jednak warto tam zajrzeć i zmienić co nieco, gdyż jak widać Google chce w końcu stworzyć pewien standard, którego pewnie już niedługo każdy będzie się trzymał ;) Przynajmniej w tym zakresie.
Tak, zawsze warto dbać o poprawny robots.txt
A czy twoim zdaniem atrybut „npreferrel” równa się atrybutowi nofollow? Czytałam wiele sprzecznych opinii, chcę poznać Twoją. :)
A co to za tag?