Test – indeksacja bez linków
komentarzy Przy okazji kilku projektów postanowiłem sprawdzić plotkę, o jakiej czytałem jakiś rok temu na paru stronach.
Sprawa dotyczyła samodzielnego indeksowania się domen w Google, bez pomocy w postaci linków.
Jak wiemy algorytm Google aby dostrzec jakąś stronę, w teorii, potrzebuje pewnej zachęty w postaci linków.
Czy aby na pewno ?
Około trzy miesiące temu umieściłem na serwerach pewną liczbę domen. Nie napisze dokładnie ile :) było ich jednak więcej niż sto.
Stwierdziłem, że taka ilość jest dobrą próbką na testowanie czy pozostawione odłogiem domeny, bez linkowania pokażą się w indeksach wyszukiwarek.
Jakiś miesiąc temu chciałem już napisać, że opowieści o stronach, które wyszukiwarki wyszperały bez żadnej zachęty, można włożyć między bajki. Miesiąc temu z całej puli testowych domen Google zaindeksował tylko jedną domenę. Po początkowym zdziwieniu okazało się, że Yahoo pokazuje jeden link do tej strony.
Wpis na blogu nie powstał z różnych przyczyn, domeny dalej są nie linkowane bo trwają prace nad stronami, które mają je wypełnić :/. Powoli przymierzałem się do rozpoczęcia procesu indeksowania tych domen by lekko je postarzyć zanim strony zostaną uruchomione.
Dziś podczas przeglądania logów na serwerach (tak, tak robie to sukcesywnie :) ) zauważyłem dość dużą aktywność bota Google na tych domenach. Trochę się zdziwiłem tym faktem bo do tej pory w logach widziałem głównie jakieś nieznane boty oraz whois.sc czyli SurveyBot.
Inwazja Googlebota, bo tak można to nazwać patrząc w logi, rozpoczęła się na te domeny 19.06 i trwa do dziś.
Postanowiłem sprawdzić jak wejścia mają się do pojawienia się tych domen w wyszukiwarce. Narzędzie, którego używam sprawdza mi site automatycznie dla wszystkich interesujących mnie wyszukiwarek plus parę innych rzeczy :)
Jakież było moje zdziwienie, gdy okazało się, że ponad 55% tych domen zostało zaindeksowanych !!
Yahoo ani MSN nie poszło śladem Google i dalej nic sobie nie robi z mojego testu :)
Ciekawe jest to, że część domen w indeksie jest widoczna (site:) bez www. a część zaindeksowana została podwójnie czyli z www oraz bez tej subdomeny.
Każda z wyszukiwarek dalej twierdzi, że do tych domen nie prowadzą żadne linki. Nawet jeśli założe, że do powiedzmy 10% są jednak linki to 45% skuteczność na dzień dzisiejszy jest oszałamiająca. Nazwy domen są na tyle unikalne aby ryzyko linkowania „z palca” (bdfdfgdfg.com) lub kupienia używanej już domeny w tym przypadku było minimalne.
Tak naprawdę nie mam pomysłu dlaczego Google zaindeksowało te domeny. Myślałem, że to może być wina whois.sc, której to strony bot atakuje moje domeny dość intensywnie. Jednak na tej stronie nie znalazłem aktywnych linków. Jesli nie tu to może aboutus.org ale losowe 10 domen nie miało artykułu o sobie. Możliwe, że to współpraca Google z Godaddy.com jest powodem, lecz nie chciał bym tworzyć nowych teorii.
Niestety nie mam wytłumaczenia – dlaczego? Nie o to jednak chodziło w moim teście.
Dziś już wiem, że pozostawiona sobie domena, która jest czynna na jakimkolwiek serwerze może być zaindeksowana. Z jednej strony fajnie, przynajmniej te zapomniane powoli się starzeją.
Drugą stroną medalu są domeny wszelkiego typu paneli lub urządzeń. Wiele osób wykupuje sobie domenę, ustawia ją powiedzmy na rejestrator video, bo tak łatwiej zapamiętać lub przekazać komuś, gdzie ma wejść by coś zrobić.
Trzeba więc pamiętać, że jeśli nie chce się swojej domeny mieć w Google to jedynie deny załatwi sprawę.
Jakiego narzędzia używasz do pomiaru site?
„deny” – Masz na myśli robots.txt ? ;)
Swojego, napisanego wg moich wytycznych.
Jak szukasz czegoś na swój serwer to sprawdź iTracker, kiedyś to testowałem i dawał radę.
deny all
allow from :)
U mnie było też coś podobnego. Postawiłem sobie WP, ot tak, zobaczyć jak to działa itp. Jakież było moje zdziwienie gdy nagle (po 4 dniach), zaczęli się ludzie tam rejestrować ;)
Zdarzyło mi się kilka razy, że stawiałem „testowo” CMS typu Drupal czy Joomla! by komuś pokazać jak się to robi, lub żeby coś tam sprawdzić. Jeśli nie musiałem – nie usuwałem instalacji z serwera, z lenistwa. I co ciekawe – po jakimś czasie, takie zapomniane przeze mnie serwisy indeksowały się samoczynnie (czy jak to tam nazywać). Wiadomo, że WordPress to potrafi, ale pinguje swój pierwszy wpis, ale że Joomla! z przykładowymi danymi się zaindeksuje? Niestety, po jeszcze dłuższym czasie następowało wyindeksowanie do 1 lub 3 podstron.
@shpyo
Odpowiedź na Twój przypadek podał Bielack, po prostu był ping.
@Bielack
Na testowych domenach dałem tylko index, więc nie znam „mocy” tej indeksacji.
Dla mnie jest cała ta sytuacja dziwna, w tamtym roku testowałem addurl i bot nawet nie raczył wejść na tą domenę, teraz bez żadnej zachęty indeksuje :/
A faktycznie rejestrowałeś w godaddy? Z tego co mi wiadomo google oficjalnie ogłosił współpracę z godaddy i każda nowo zarejesrowana domena automatycznie otrzymuje konto w google webmaster tools.
Nie, rejestrowalem te domeny w innej Firmie.
A kto jest właścicielem takich kont?
shpyo – WP sie nie liczy, bo ma pingowanie, wiec jak go postawiles to od razu wyslal w swiat info, ze powstal blog.
Panie i panowie google indexuje też przez zwojego tolbra to najwiekszy szpieg :)
@xann
To, że to szpieg to wiem ale indeksacja dzięki temu programowi? Czyli mają za dużo mocy w DC.
lepiej w godaddy spamów nie stawiać bo łatwo je namierzą
Ciekawe. Mi kiedyś addera zaindeksowało :/ więc to co piszesz Mkane ma swoje pokrycie w rzeczywistości
Pozdrawiam
A propos szpieg, ciekawi mnie czy same sprawdzanie indeksacji też doprowadzi do zindeksowania… :)
Samego mnie to zainteresowało. Wydaje mi się to nieprawdopodbne ale…
W przypływie chęci może kiedyś to sprawdzę :)
Czesc… goddady.com gdzies umieszcza listy domen zarejstrowanych u nich w ostatnim miesiacu/tygodniu. Raz natknalem sie na taka liste i znalazlem tam moje wszystkie domeny (rejestrowalem hurtem 300domen u nich i 100 u innego).
prawie wszystkie domeny z goddady same sie indeksowaly, a te 100 od innego uslugodawcy zostaly nieruszone.