Czyszczenie indeksu przez wyszukiwarki – kilka przypadków

Ostatnio miałem parę pytań typu

„zapomniałem przedłużyć domenę, zrobiłem to po X dniach, nie ma mnie na poprzednich pozycjach, co teraz..”

W październiku jeden z moich klientów też jakimś cudem zapomniał przedłużyć domenę. Oczywiście o tym fakcie poinformowałem Go, w chwili kiedy znikły mi pozycje na frazy jakie były pozycjonowane dla tej domeny.
Domena powinna być opłacona do 4 października. W dniu 12 października zauważyłem brak określenia pozycji dla strony głównej. Podczas sprawdzania co się dzieje, okazało się, że została wyindeksowana strona główna tego serwisu. Wszystkie podstrony były w indeksie, niestety w tym przypadku pozycjonowanie odbywało się na stronę główną dlatego nie wiem jakby wyglądały pozycje podstron.
15 października, co tu ukrywać po moim monicie dlaczego przez 3 dni nie zostało to zapłacone, poszedł przelew i domena ponownie została uruchomiona rankiem 16.10.
Strona główna pojawiła się w Google 22.10 i pozycje prawie wróciły na swoje miejsce.
Dlaczego „prawie” ? Z prostego powodu, tylko jedna z fraz zachowała swoją pozycję (top1) powroty całej reszty wyszły na plus czyli pozycje były wyższe niż przed całym zdarzeniem.
Nie będę ukrywał, że spodziewałem się spadków a tu proszę, jaka niespodzianka.

Podsumowując, znikniecie strony głównej nastąpiło po 8 dniach, powrót po 6, z jednym małym „ale”. Podejrzewam, że przy zniknięciu domena działała jeszcze 2 dni po dacie do przedłużenia, podobnie jak w przypadku, który opiszę poniżej.

Ciekawi mnie ta zbieżność 6 dni na wylot i 6 dni na powrót. Dodam, że w przypadku problemów z serwerem działającej domeny, nie zauważyłem takich działań. Miałem jedną stronę wyłączoną przez 14 dni i pozycje stały na swoim miejscu.

Chciałbym jeszcze opisać dwie sytuacje w tym wpisie, pierwsza to odpuszczenie sobie domeny, poprzez nie przedłużenie oraz wyindeksowanie domeny po 301 na inną.

Miałem takie dwie dziwne domeny, które gdy kupiłem były zbanowane, moje prośby o ponowne rozpatrzenie nie skutkowały na początku, wróciły jednak do indeksu po ponad 6 miesiącach od zakupu, gdy już myślałem, że nic z nich nie będzie.
Moja radość była przedwczesna, jak się okazał, mimo przekazania odpowiedniej mocy na serwisy w tych domenach, indeksowały się niestety do maksymalnego poziomu około 20 podstron. Cokolwiek nie robiłem, a wierzcie mi, że w pewnym momencie naprawdę było dużo linków do tych domen, moje wysiłki spełzały na niczym.
Ruch organiczny na tych stronach nie istniał, indeksacja żadna dlatego postanowiłem je nie przedłużać.

Domeny „działały” jeszcze przez dwa dni po dniu, w którym miałem je przedłużyć. W tym czasie można jeszcze było normalnie wchodzić na te strony.
Te dwa dni to chyba standard, choć nie jestem tego pewien, jak ktoś ma w tym większe niż ja doświadczenie to będę wdzięczny za informację potwierdzającą lub negującą.

Wracając do tego przypadku.
Domeny znikły z Google tego samego dnia, po 16 dniach od dnia, w którym przestały działać. Pisząc domeny mam na myśli całkowite wyindeksowanie ich wraz z podstronami czyli site=0.

Msn akurat w następnym dniu, po tym jak przestały działać, zwiększył dla jednej z nich site około 10 razy. Jednak już po 12 dniach, tak jakby zauważył swój błąd, zredukował ilość w swoim indeksie podstron nieistniejących już domen do kilkunastu sztuk. Dziś mimo, że minęło już kilka miesięcy cały czas jest widoczna jedna podstrona dla obydwóch domen.

Za to Yahoo, to naprawdę chyba nie liczy się z mocą obliczeniową. Od dnia gdy znikły te domeny do dziś site dla nich wzrósł około 6 razy. Żeby było śmieszniej od tygodnia obserwuję codziennie coraz większe cyferki dla nieistniejących przecież domen.
Zastanawia mnie to trochę i mniemam, że to zwykły cykl parsowania danych w tej wyszukiwarce, co np źle rzutuje na obraz liczenia się z BL w tej wyszukiwarce…

Kolejny temat to 301 istniejących domen/subdomen na inną domenę.
Jeden z moich klientów postanowił zmienić domenę. Na początku września zrobione zostało 301 wszystkich starych podstron na nowy podstrony i głównej na główna.
Po 3 dniach od zrobienia 301 dla nowej domenie zaczęły pojawiać podstrony w indeksie Google i Yahoo. Oczywiście w Yahoo od razu kilka tysięcy podstron, w Google kilkaset, MSN zareagował dwa tygodnie później.
Do dnia dzisiejszego nowa domena nie uzyskała takiej liczby zaindeksowanych podstron jak stara, ruch jednak jest lepszy niż był. Za to „stara” ciągle istnieje w indeksie wszystkich trzech wyszukiwarek.
W Google jest około 100 podstron, MSN około tysiąca a Yahoo jak to Yahoo ma ich ponad 75 tysięcy (ciekawe :/)

Dodam tutaj jeszcze, ze serwis był pozycjonowany na dużą ilość fraz z czego tylko około 10% na stronę główna, reszta na podstrony.

Podczas przenoszenia się mocy ze starej na nową domenę, zauważyłem w Google ciekawe zjawisko.
Miałem wrażenie jakby ta wyszukiwarka za wszelką cenę chciała utrzymać pozycje na pewne frazy dla tej domeny, jednocześnie umieszczając nową domenę często wyżej niż starą.
W pierwszym miesiącu, kiedy bacznie się temu przyglądałem widziałem sytuacje gdy nowa domena była powiedzmy na 2 miejscu na frazę a stara na 5. Ciekawe jednak było to, że pozycje dla starej były określane dla coraz to nowych podstron. Tak jak napisałem, jakby wyszukiwarka ta próbowała za wszelką cenę utrzymać starą domenę, zmieniając co chwilę podstrony jakie umieszczała w indeksie na daną frazę.
Miałem już z takim mechanizmem styczność w przypadku chwilowych filtrów na podstrony, gdy jej miejsce zajmowała inna podstrona ale nie na taką skalę.

Drugi przypadek to jedna z moich subdomen z zaplecza. Niestety dostała ona ten słynny filtr z końca lipca obniżający pozycję dla wszystkich fraz. Miałem już od jakiegoś czasu kupioną i zaindeksowaną domenę, na którą chciałem przenieść ten serwis ale jakoś czasu brakło. Filtr przyśpieszył tylko moje działania.
301 było zrobione w drugiej połowie sierpnia. Po 3 dniach zauważyłem wzrost ruchu i początkowe podstrony nowej domeny w indeksie a filtr się nie przeniósł, z czego się cieszyłem.
Początkowo subdomena była ładnie i sukcesywnie usuwana z indeksu Google. 7 listopada miała już tylko 8 podstron. Dzień później jednak, prawdopodobnie Google przywróciło stare indeksy, znowu było tych podstron 1,5 tys.
Dzisiejszego dnia W Google jest 1050 podstron w MSN 82 a w Yahoo… 17 tys. :)
Przyznam się, że akurat w tym przypadku zależało mi aby ta subdomena w miarę szybko zniknęła z indeksów.

Reasumując, jeśli zapomnisz przedłużyć domenę, nie musisz się tym martwić aż tak bardzo. Masz kilka dni na wpłatę a pozycje powinny być takie same.
Jeśli chcesz kupić jakaś nieużywana domenę z zaindeksowanymi podstronami pod Google, to możesz mieć problem. Jeśli Twoim targetem jest Yahoo to możesz się nie śpieszyć.
Przy 301 zaś, wyindeksowanie przekierowanej domeny może zając miesiące, więc jeśli robisz to po to by coś ukryć/usunąć to lepiej chyba najpierw wyindeksować podstrony w Google Sitemaps a później zrobić przekierowanie.

Test – indeksacja bez linków

Przy okazji kilku projektów postanowiłem sprawdzić plotkę, o jakiej czytałem jakiś rok temu na paru stronach.

Sprawa dotyczyła samodzielnego indeksowania się domen w Google, bez pomocy w postaci linków.

Jak wiemy algorytm Google aby dostrzec jakąś stronę, w teorii, potrzebuje pewnej zachęty w postaci linków.

Czy aby na pewno ?

Około trzy miesiące temu umieściłem na serwerach pewną liczbę domen. Nie napisze dokładnie ile :) było ich jednak więcej niż sto.

Stwierdziłem, że taka ilość jest dobrą próbką na testowanie czy pozostawione odłogiem domeny, bez linkowania pokażą się w indeksach wyszukiwarek.

Jakiś miesiąc temu chciałem już napisać, że opowieści o stronach, które wyszukiwarki wyszperały bez żadnej zachęty, można włożyć między bajki. Miesiąc temu z całej puli testowych domen Google zaindeksował tylko jedną domenę. Po początkowym zdziwieniu okazało się, że Yahoo pokazuje jeden link do tej strony.

Wpis na blogu nie powstał z różnych przyczyn, domeny dalej są nie linkowane bo trwają prace nad stronami, które mają je wypełnić :/. Powoli przymierzałem się do rozpoczęcia procesu indeksowania tych domen by lekko je postarzyć zanim strony zostaną uruchomione.

Dziś podczas przeglądania logów na serwerach (tak, tak robie to sukcesywnie :) ) zauważyłem dość dużą aktywność bota Google na tych domenach. Trochę się zdziwiłem tym faktem bo do tej pory w logach widziałem głównie jakieś nieznane boty oraz whois.sc czyli SurveyBot.

Inwazja Googlebota, bo tak można to nazwać patrząc w logi, rozpoczęła się na te domeny 19.06 i trwa do dziś.

Postanowiłem sprawdzić jak wejścia mają się do pojawienia się tych domen w wyszukiwarce. Narzędzie, którego używam sprawdza mi site automatycznie dla wszystkich interesujących mnie wyszukiwarek plus parę innych rzeczy :)

Jakież było moje zdziwienie, gdy okazało się, że ponad 55% tych domen zostało zaindeksowanych !!

Yahoo ani MSN nie poszło śladem Google i dalej nic sobie nie robi z mojego testu :)

Ciekawe jest to, że część domen w indeksie jest widoczna (site:) bez www. a część zaindeksowana została podwójnie czyli z www oraz bez tej subdomeny.

Każda z wyszukiwarek dalej twierdzi, że do tych domen nie prowadzą żadne linki. Nawet jeśli założe, że do powiedzmy 10% są jednak linki to 45% skuteczność na dzień dzisiejszy jest oszałamiająca. Nazwy domen są na tyle unikalne aby ryzyko linkowania „z palca” (bdfdfgdfg.com) lub kupienia używanej już domeny w tym przypadku było minimalne.

Tak naprawdę nie mam pomysłu dlaczego Google zaindeksowało te domeny. Myślałem, że to może być wina whois.sc, której to strony bot atakuje moje domeny dość intensywnie. Jednak na tej stronie nie znalazłem aktywnych linków. Jesli nie tu to może aboutus.org ale losowe 10 domen nie miało artykułu o sobie. Możliwe, że to współpraca Google z Godaddy.com jest powodem, lecz nie chciał bym tworzyć nowych teorii.

Niestety nie mam wytłumaczenia – dlaczego? Nie o to jednak chodziło w moim teście.

Dziś już wiem, że pozostawiona sobie domena, która jest czynna na jakimkolwiek serwerze może być zaindeksowana. Z jednej strony fajnie, przynajmniej te zapomniane powoli się starzeją.

Drugą stroną medalu są domeny wszelkiego typu paneli lub urządzeń. Wiele osób wykupuje sobie domenę, ustawia ją powiedzmy na rejestrator video, bo tak łatwiej zapamiętać lub przekazać komuś, gdzie ma wejść by coś zrobić.

Trzeba więc pamiętać, że jeśli nie chce się swojej domeny mieć w Google to jedynie deny załatwi sprawę.