W czerwcu Google zaktualizowało swoją dokumentację dotyczącą GoogleBota.

Wśród wielu informacji znalazła się także ta o limicie pobierania danych podczas pobierania zasobów witryny.

Googlebot może zindeksować pierwsze 15 MB pliku HTML lub obsługiwanego pliku tekstowego. Wszystkie zasoby wymienione w kodzie HTML, takie jak obrazy, filmy, pliki CSS i JavaScript, są pobierane oddzielnie. Po przeskanowaniu pierwszych 15 MB pliku Googlebot zatrzymuje się i podczas indeksowania uwzględnia tylko te 15 MB.

Limity pobierania danych nie są nowością, jeszcze lekko ponad 10 lat temu Google pobierało tylko pierwsze 100KB. Po zmianie mechanizmów limit ten został znacznie zwiększony.

Jak widać jednak stale Google wprowadza ograniczenia i warto o tym pamiętać. …Czytaj dalej »