Test – indeksacja bez linków

Przy okazji kilku projektów postanowiłem sprawdzić plotkę, o jakiej czytałem jakiś rok temu na paru stronach.

Sprawa dotyczyła samodzielnego indeksowania się domen w Google, bez pomocy w postaci linków.

Jak wiemy algorytm Google aby dostrzec jakąś stronę, w teorii, potrzebuje pewnej zachęty w postaci linków.

Czy aby na pewno ?

Około trzy miesiące temu umieściłem na serwerach pewną liczbę domen. Nie napisze dokładnie ile :) było ich jednak więcej niż sto.

Stwierdziłem, że taka ilość jest dobrą próbką na testowanie czy pozostawione odłogiem domeny, bez linkowania pokażą się w indeksach wyszukiwarek.

Jakiś miesiąc temu chciałem już napisać, że opowieści o stronach, które wyszukiwarki wyszperały bez żadnej zachęty, można włożyć między bajki. Miesiąc temu z całej puli testowych domen Google zaindeksował tylko jedną domenę. Po początkowym zdziwieniu okazało się, że Yahoo pokazuje jeden link do tej strony.

Wpis na blogu nie powstał z różnych przyczyn, domeny dalej są nie linkowane bo trwają prace nad stronami, które mają je wypełnić :/. Powoli przymierzałem się do rozpoczęcia procesu indeksowania tych domen by lekko je postarzyć zanim strony zostaną uruchomione.

Dziś podczas przeglądania logów na serwerach (tak, tak robie to sukcesywnie :) ) zauważyłem dość dużą aktywność bota Google na tych domenach. Trochę się zdziwiłem tym faktem bo do tej pory w logach widziałem głównie jakieś nieznane boty oraz whois.sc czyli SurveyBot.

Inwazja Googlebota, bo tak można to nazwać patrząc w logi, rozpoczęła się na te domeny 19.06 i trwa do dziś.

Postanowiłem sprawdzić jak wejścia mają się do pojawienia się tych domen w wyszukiwarce. Narzędzie, którego używam sprawdza mi site automatycznie dla wszystkich interesujących mnie wyszukiwarek plus parę innych rzeczy :)

Jakież było moje zdziwienie, gdy okazało się, że ponad 55% tych domen zostało zaindeksowanych !!

Yahoo ani MSN nie poszło śladem Google i dalej nic sobie nie robi z mojego testu :)

Ciekawe jest to, że część domen w indeksie jest widoczna (site:) bez www. a część zaindeksowana została podwójnie czyli z www oraz bez tej subdomeny.

Każda z wyszukiwarek dalej twierdzi, że do tych domen nie prowadzą żadne linki. Nawet jeśli założe, że do powiedzmy 10% są jednak linki to 45% skuteczność na dzień dzisiejszy jest oszałamiająca. Nazwy domen są na tyle unikalne aby ryzyko linkowania “z palca” (bdfdfgdfg.com) lub kupienia używanej już domeny w tym przypadku było minimalne.

Tak naprawdę nie mam pomysłu dlaczego Google zaindeksowało te domeny. Myślałem, że to może być wina whois.sc, której to strony bot atakuje moje domeny dość intensywnie. Jednak na tej stronie nie znalazłem aktywnych linków. Jesli nie tu to może aboutus.org ale losowe 10 domen nie miało artykułu o sobie. Możliwe, że to współpraca Google z Godaddy.com jest powodem, lecz nie chciał bym tworzyć nowych teorii.

Niestety nie mam wytłumaczenia – dlaczego? Nie o to jednak chodziło w moim teście.

Dziś już wiem, że pozostawiona sobie domena, która jest czynna na jakimkolwiek serwerze może być zaindeksowana. Z jednej strony fajnie, przynajmniej te zapomniane powoli się starzeją.

Drugą stroną medalu są domeny wszelkiego typu paneli lub urządzeń. Wiele osób wykupuje sobie domenę, ustawia ją powiedzmy na rejestrator video, bo tak łatwiej zapamiętać lub przekazać komuś, gdzie ma wejść by coś zrobić.

Trzeba więc pamiętać, że jeśli nie chce się swojej domeny mieć w Google to jedynie deny załatwi sprawę.

16 komentarzy

  1. Autor Maciek dodany 2 lipca, 2008

    Jakiego narzędzia używasz do pomiaru site?

  2. Autor Cezary Lech dodany 2 lipca, 2008

    “deny” – Masz na myśli robots.txt ? ;)

  3. Autor mkane dodany 2 lipca, 2008

    Jakiego narzędzia używasz do pomiaru site?

    Swojego, napisanego wg moich wytycznych.
    Jak szukasz czegoś na swój serwer to sprawdź iTracker, kiedyś to testowałem i dawał radę.

    “deny” – Masz na myśli robots.txt ?

    deny all
    allow from :)

  4. Autor shpyo dodany 2 lipca, 2008

    U mnie było też coś podobnego. Postawiłem sobie WP, ot tak, zobaczyć jak to działa itp. Jakież było moje zdziwienie gdy nagle (po 4 dniach), zaczęli się ludzie tam rejestrować ;)

  5. Autor Bielack dodany 3 lipca, 2008

    Zdarzyło mi się kilka razy, że stawiałem “testowo” CMS typu Drupal czy Joomla! by komuś pokazać jak się to robi, lub żeby coś tam sprawdzić. Jeśli nie musiałem – nie usuwałem instalacji z serwera, z lenistwa. I co ciekawe – po jakimś czasie, takie zapomniane przeze mnie serwisy indeksowały się samoczynnie (czy jak to tam nazywać). Wiadomo, że WordPress to potrafi, ale pinguje swój pierwszy wpis, ale że Joomla! z przykładowymi danymi się zaindeksuje? Niestety, po jeszcze dłuższym czasie następowało wyindeksowanie do 1 lub 3 podstron.

  6. Autor mkane dodany 3 lipca, 2008

    @shpyo
    Odpowiedź na Twój przypadek podał Bielack, po prostu był ping.

    @Bielack
    Na testowych domenach dałem tylko index, więc nie znam “mocy” tej indeksacji.

    Dla mnie jest cała ta sytuacja dziwna, w tamtym roku testowałem addurl i bot nawet nie raczył wejść na tą domenę, teraz bez żadnej zachęty indeksuje :/

  7. Autor Bartek Berlinski dodany 3 lipca, 2008

    A faktycznie rejestrowałeś w godaddy? Z tego co mi wiadomo google oficjalnie ogłosił współpracę z godaddy i każda nowo zarejesrowana domena automatycznie otrzymuje konto w google webmaster tools.

  8. Autor mkane dodany 4 lipca, 2008

    A faktycznie rejestrowałeś w godaddy?

    Nie, rejestrowalem te domeny w innej Firmie.

    …i każda nowo zarejesrowana domena automatycznie otrzymuje konto w google webmaster tools.

    A kto jest właścicielem takich kont?

  9. Autor Carnagge dodany 5 lipca, 2008

    shpyo – WP sie nie liczy, bo ma pingowanie, wiec jak go postawiles to od razu wyslal w swiat info, ze powstal blog.

  10. Autor xann dodany 10 lipca, 2008

    Panie i panowie google indexuje też przez zwojego tolbra to najwiekszy szpieg :)

  11. Autor mkane dodany 11 lipca, 2008

    @xann

    To, że to szpieg to wiem ale indeksacja dzięki temu programowi? Czyli mają za dużo mocy w DC.

  12. Autor 4poziom.pl dodany 13 lipca, 2008

    lepiej w godaddy spamów nie stawiać bo łatwo je namierzą

  13. Autor Rafał Dąbrowski dodany 14 lipca, 2008

    Ciekawe. Mi kiedyś addera zaindeksowało :/ więc to co piszesz Mkane ma swoje pokrycie w rzeczywistości

    Pozdrawiam

  14. Autor GoodNeighbor dodany 17 lipca, 2008

    A propos szpieg, ciekawi mnie czy same sprawdzanie indeksacji też doprowadzi do zindeksowania… :)

  15. Autor mkane dodany 17 lipca, 2008

    ciekawi mnie czy same sprawdzanie indeksacji też doprowadzi do zindeksowania

    Samego mnie to zainteresowało. Wydaje mi się to nieprawdopodbne ale…
    W przypływie chęci może kiedyś to sprawdzę :)

  16. Autor Bartek dodany 1 października, 2008

    Czesc… goddady.com gdzies umieszcza listy domen zarejstrowanych u nich w ostatnim miesiacu/tygodniu. Raz natknalem sie na taka liste i znalazlem tam moje wszystkie domeny (rejestrowalem hurtem 300domen u nich i 100 u innego).
    prawie wszystkie domeny z goddady same sie indeksowaly, a te 100 od innego uslugodawcy zostaly nieruszone.