Jak to często bywa szukając jednej rzeczy znajduje się inną.
Dziś przeszukując moje notatki dotyczące pozycjonowania, natrafiłem na stary zapomniany test, jaki zrobiłem poprzednim roku.

    Test miał, na celu dodanie strony w ciągu jednej sesji do maksymalnej ilości katalogów a zarazem miał sprawdzić niepubliczną dodawarkę jaka została mi udostępniona.
W dniu 19 stycznia 2006r. dodałem, mój katalog do kilku tysięcy QlWebów. Dodawarka zanotowała 427 „sukcesów” przynajmniej w jednej podkategorii.Podczas dodawania celowo w opisie popełniłem błąd, użyłem „słowa”, na które nie było wtedy żadnych wyników w Google – „umieszść”.

Dlaczego o tym wspominam?

     Dziś, tak przy okazji, sprawdziłem jak to wygląda i niestety zastałem „pobojowisko”.
Na palcach chyba jednej ręki, w wynikach wyszukiwania, można policzyć strony, które nie są w wynikach uzupełniająch.

    Pisałem już o tym wiele razy na PiO i poruszałem tą sprawę w dyskusjach „on-line”.
QlWeba nie zabiły żadne celowe działania naszej panującej wyszukiwarki, tylko lenistwo i brak dbałości o swoje katalogi ludzi stawiających na ilość a nie na jakość. Wiele takich stawianych na szybko katalogów nie było linkowanych, a jak były to często miały tylko linki ze spisu Mara oraz/lub kilkunastu/kilkudziesięciu innych katalogów.

    Gdy nagle pojawił się mechanizm SI nastąpił „efekt domina” i powoli wyparowywała jakakolwiek moc pozycjonowania, jakie miały wpisy.
Straszenie na oficjalnym blogu Google, że takie pozycjonowanie stron jest „be”, dobiły i tak już konający skrypt. Masowe usuwanie, jakże pomysłowego (ojoj), „zaplecza pozycjonera” (hehe) pogłębiło jeszcze efekt – kolos upadł, bo nikt tak naprawdę się tym nie przejmował.

    IMHO to samo spotka prędzej czy później „precle”, które i tak już chyba umierają, bo „zapał minął”.
Ale co mi tam :), choć katalogi używałem, do precli mam totalnie obojętny stosunek i ich nie używam.
Co innego pozycjonowanie stron, poprzez presell page ale to już inna bajka…

     Zajmując się pozycjonowaniem lub posiadając kilka własnych stron, prędzej czy później, natkniesz się na swoje podstrony w „wynikach uzupełniających” (ang. supplemental result).
Temat SI (ang. supplemental index) był szeroko komentowany i omawiany w 2006r. na wielu forach i blogach można było znaleźć opinie i porady dotyczące nowego wtedy mechanizmu, niektóre opinie ważne są do dziś jednak wiele rad nie jest tak skutecznych jak się wydawało wtedy.

     Google tłumaczy, że „Wynik uzupełniający to wynik wyszukiwania pobierany z naszego indeksu pomocniczego. Wobec witryn trafiających do indeksu pomocniczego możemy zastosować mniej ograniczeń niż wobec witryn uwzględnianych w indeksie głównym. Na przykład liczba parametrów w adresie URL może spowodować wykluczenie witryny z aktualizacji indeksu głównego, jednak roboty mogą ją uwzględnić w indeksie witryn uzupełniających.”
Czy aby na pewno ta oficjalna wypowiedź jest bliska prawdy? Czy strony w indeksie pomocniczym na pewno mają mniej ograniczeń ? Myślę, że łatwo zauważyć, że strony/podstrony w SI są traktowane po „macoszemu” i niewiele ma to wspólnego z „ograniczaniem ograniczeń”.

Co trafia do SI? – przyczyny:

– nie istniejące podstrony – 404 czasowe lub stałe,
– przekierowanie 302 – podstrony nie są wyindeksowane jednak „czasowo” nie istnieją,
– przekierowanie 301 – wyindeksowanie takich podstron trwa często kilka miesięcy,
– podstrony z errorami,
– podstrony z powieloną treścią w obrębie danej domeny – np. w blogach bardzo często powieloną treścią są podstrony z komentarzami, archiwum według daty,
– powielona treść z innej strony,
– podstrony opuszczone (ang. Orphaned pages) – czyli podstrony, do których z różnych przyczyn nie prowadzą żadne linki,
– wcześniejsze wersje – przy zmianie treści obydwie wersje są zaindeksowane,
– zmiana adresów url – te stare mogą być widoczne jeszcze kilka miesięcy,
– długie adresy, dużo zmiennych – np. sesja w adresie,
– brak zróżnicowanych meta Tagów wewnątrz serwisu – często kilka tysięcy podstron ma ten sam title, description i keywords,
– małe różnice w treści pomiędzy podstronami – np. w katalogu produktów, różnica często to tylko kilka linijek opisu lub sama nazwa + numer,
– podstrony bez treści – np. tylko menu,
– zła nawigacja – podstrony umieszczone bardzo „głęboko”,
– posiadanie w obrębie witryny podstron o małej zawartości treści w innym języku niż inne podstrony. O tym za chwilę…
Na koniec najważniejsza przyczyna, czyli mała ilość linków lub bardzo słabe linki do danej domeny.

     Do wykonania serii testów i zajęcia się analizą SI zmusił mnie fakt trafienia do wyników uzupełniających podstrony mojego klienta, która posiadała oryginalną treść. Było to około 10 wersów tekstu w języku rosyjskim.
Byłem bardzo tym zdziwiony, ponieważ do domeny prowadziło kilkadziesiąt tysięcy linków, była ona zaindeksowana w 100%, ruch, jaki generowała pozwalał przypuszczać, że plasowała się w czołówce stron o tej tematyce.

     Na potrzeby mojej analizy wykonałem na przestrzeni 6 miesięcy kilkadziesiąt różnego rodzaju testów. Wszystkie domeny, jakimi się opiekuję były bacznie w tym czasie obserwowane. Pozwolę sobie opisać tylko kilka z testów.

1.    Katalog stron – domena zaindeksowana w 80%. Około 30 tys. linków stałych. Strona ta długo opierała się Google by nie zakwalifikowało jej do SI. Jednak mimo, tej mocy skrypt (Easy-Directory) jak się okazało spowodował stan, w pewnym momencie było około 80% podstron w wynikach uzupełniających.
     Pierwszą czynnością ratunkową było dołożenie na wszystkich podstronach daty i godziny wraz z jedną linijką tekstu oraz usunięcie meta Tagów z części podstron.
     Już ten mały zabieg spowodował widoczny spadek obecności tej domeny w SI. Po około 3 miesiącach nastąpiła zmiana układu podstron zwanych jako „szczegóły wpisu”, dołożone zostało h1 oraz h3, zmienione zostały urle tak by nie powielały się wśród stron postawionych na tym skrypcie oraz wstawione zostały automatycznie pobierane RSS z innej strony.
Do 3 kategorii zostały umieszczone linki bezpośrednie z 6 domen.
I to można powiedzieć był „strzał w 10”, SI zostało ograniczone – ruch wzrósł o ponad 100%.

2.     Katalog na skrypcie QlWeb – tutaj sytuacja można powiedzieć była „tragiczna” cała domena wraz ze stroną główną trafiła do „suplementala”. Wszystkie nowe wpisy automatycznie i grzecznie wędrowały za resztą w otchłań niebytu.
    W tym przypadku nie pomogły żadne zmiany treści + dołożenie elementów różnicujących podstrony. Dopiero kilkanaście linków z mocnych domen wyprowadziło część podstron z indeksu pomocniczego.

3.     Forum internetowe – jak wiemy tutaj jest treść oryginalna, więc dlaczego SI?
Jako remedium na brak linków do tego fora, wybrałem 700 adresów podstron. Na liście kontrolnej umieściłem 10% adresów w SI i 10% nie zaindeksowanych podstron. Adresy te zostały wyświetlane losowo (random) na 5 dość mocnych domenach.
Wynik – niestety negatyw, strony z listy kontrolnej nie zmieniły „miejsca zamieszkania” albo były w SI albo nie było ich wcale.
    Drugim etapem było umieszczenie na tych 5 domenach linków stałych (z całego serwisu) do miejsc gdzie były linki do podstron w SI.
Wynik tego testu był częściowo pozytywny, część podstron została „wybudzona”..

4.     Autorski tekst umieszczony na subdomenie (nie zaindeksowana) Blogspotu – trzy wpisy. Adres tej subdomeny został umieszczony w 30 losowo wybranych katalogach. Strona została zaindeksowana po około 2 tygodniach od razy w całości wpadła w SI.
     Byłem tym zdziwiony bo treści dość dużo do tego unikalna. Przyznam się, że mam wrażenie jakoby najdłużej trwało wyciągnięcie, tej domeny, do indeksu głównego.
Testy przebiegały poprzez linki stałe na 20 domenach – 1 miesiąc – nic.
Linki rotacyjne – 1 miesiąc – nic.
Na koniec usunąłem linki stałe i rotacyjne i dałem linki z dwóch moich dobrych domen + 20 wpisów w katalogach na podstronach ziandeksowanych bez SI.
     Po dwóch miesiącach strona testowa wyszła z SI, nie jestem jednak w stanie stwierdzić, co ją wypchnęło.

5.     Skrypt autorski – duże ilości treści na podstronach, częściowo treść powielona z innych serwisów. Codziennie pojawia się pomiędzy 200 a 2 tys, nowych podstron w zależności od domeny. Stron na tym skrypcie mam kilkanaście, nie mam problemu z zaindeksowaniem 50-100k podstron, jednak liczba podstron w SI zawsze oscylowała na poziomie 50%.
     Część stron została przebudowana, zmieniona została nawigacja, dodane nowe elementy, meta Tagi indywidualne, usunięte powielające się treści.
Zostało też tutaj zastosowane linkowanie podstron do podstron. 
     Cokolwiek jednak nie robiłem % podstron w wynikach uzupełniających były wciąż takie same. Olśnienie :) przyszło jakieś dwa miesiące temu przy okazji hurtowej optymalizacji stron na jednym z moich serwerów.
     Przyczyna tego stanu rzeczy okazał się trywialna. Skrypt posiadał błąd w nawigacji, okazało się, że winę za SI ponoszą listy podstron, ich liczba była ograniczona do 50 stron samej listy, po prostu stare postrony (najstarsze urle) znikały z list i prowadziły do nich tylko linki z innych podstron (dopiero od kilku tygodni), jednak mechanizm ten był niedoskonały i moc była za mała.
     Usuniecie „blokady” na listach spowodowało zwiększenie indeksacji około 100% a zmniejszenie SI o 20%.

6.     Skrypt autorski, domena o bardzo dużej „mocy” i wysokim TrustRank.
Do domeny prowadziło około 70k linków z kilku tysięcy domen. Stała liczba zaindeksowanych podstron na poziomie 200 tys. + 400k w SI. 
     W ciągu dwóch tygodni, na stronę, dołożyłem około 1,5 tys. linków stałych z 1,3 tys. domen (80% na stronę główną) + kilkadziesiąt  tysięcy punktów w Coop (linki rotacyjne). Dodatkowo wybrałem około 120 podstron, jakie były liniowane w systemie linków rotacyjnych 7 dniowych, na moich domenach.
    Na efekty nie trzeba było długo czekać, po około miesiącu ilość podstron zaindeksowanych wzrosła do ponad 0,5mln, ruch skoczył o 600%, ilość podstron w SI nie zmieniła się.
Przez około miesiąc ruch się utrzymywał, założyłem, więc, że podstrony nie wpadają do indeksu pomocniczego. Jednak po tym miesiącu ruch zaczął topnieć by ustabilizować się na poziomie około 50% większym niż przed testem.
Na dzień dzisiejszy site: stoi na poziomie 600 tys. a teoretycznie wyniki uzupełniające to 540 tys. podstron.

7.     Strona na skrypcie WordPress – treść powiela się na maksymalnie 20 innych stronach.
W tamtym roku strona ta została dodana do około 300 katalogów + 1 „normalna domena”. 
     Google bardzo dziwnie potraktował ten serwis. Na początku roku cały wpadł do SI, po ostatnim eksporcie PR sukcesywnie była ona wyindeksowana, najpierw strona główna, po kolei podstrony.
     Gdy zacząłem test na tej domenie w indeksie głównym było 0 podstron w wynikach uzupełniających pojawiały się 3 podstrony. Do strony zostały dodane linki z 10 stron głównych różnych domen.
    Po około miesiącu adres główny strony pojawił się w wynikach głównych i do tej pory zwiększa się ilość zaindeksowanych podstron.

     Pozycjonując inne strony, posiadając pewną liczbę domen w zapleczu po prostu do wyników uzupełniających trzeba się przyzwyczaić.
Nie ominie się ich dlatego, że mechanizm ten nie służy użytkownikom wyszukiwarki Google tylko ma na celu odciążyć jakże już „zmęczone” Data Center.
     Według moich obserwacji, gdy bot trafia na stronę wyliczane jest „X” zmiennych, gdy te zmienne są poniżej wartości ale rPR prowadzący do podstrony jest na tyle duży by była uwzględniona w indeksie, podstrona taka trafia do wyników uzupełniających.

    Co zrobić by zminimalizować SI na własnych domenach.

    Podstawowa zasada to dużo linków do domeny oraz odpowiednia i sprawna nawigacja wewnątrz serwisu, także pomiędzy podstronami.

    Jeśli używasz skryptu ogólnodostępnego, np. blogowego, to postaraj się jak najbardziej odróżnić ten skrypt od tysięcy domen, na jakim jest używany.
Zmiana urli na niestandardowe, dołożenie unikalnych elementów z treścią.
Zdjęcie nie jest treścią!

    Jeśli Twoje podstrony nie różnią się wiele, mają te same meta tagi, to spraw by były one unikalne dla każdej podstrony.
    Pamiętaj o tym, że opis powinien zawierać minimum 60 znaków, najlepiej by były to unikalne zdania.
    Wprowadź jakieś elementy, które zwierają tekst, może to być nawet wyświetlanie jakże popularnych cytatów, czym więcej w % będą się od siebie różnić tym lepiej.

    Na wszystkich stronach/serwisach warto zadbać by podstrony nie zawierały informacji o błedach php, mysql itp. itd. oraz by w obrębie witryny było mało nieistniejących podstron 404 oraz 302.
Podstron z przekierowaniem 302 można wygenerować tysiące przy „ErrorDocument 404 /”.

Wrócę jednak znowu do linków.
     Jakkolwiek nie przerobisz serwisu, nie zoptymalizujesz go, jeśli do domeny nie będzie prowadziła odpowiednia ilość linków z odpowiednią mocą to nawet unikalne podstrony prędzej czy później trafią do indeksu pomocniczego.
    Nie wolno zapomnieć o linkowaniu podstron, ja stosuję zasadę, że minimum 20% linków do domeny są to linki do podstron.
Preferuje też linki stałe a rotacyjne tylko w naprawdę dużych ilościach.
     Wszystko zależy od zasobności „zaplecza”, jakim dysponuje pozycjoner.

     Obserwując wiele domen przez okres ponad 6 miesięcy zauważyłem też, że podstrony, na które jest więcej wejść w miesiącu niż 50UU nie wpadają w SI, przynajmniej u mnie.
    Podaję to bardziej jako ciekawostkę niż niezaprzeczalny fakt.

    Czy warto dbać o jak najmniejsze SI na swoim zapleczu?
Według mojej opinii tak, pozycjonowanie stron to mechanizm, który jest tak sprawny jak sprawne jest Twoje zaplecze.
Jeśli zaplecze w większości „przebywać” będzie w indeksie pomocniczym to niestety jego moc będzie znikoma do walki o pozycje w indeksie głównym.

P.S.
Z braku czasu tekst wynikowy jest mocno okrojony w porównaniu do moich notatek oraz brak w nim screen`ów obrazujących to co robiłem, myślę jednak, że ktoś znający pojęcie „wynik uzupełniający” bez problemu zrozumie to co chciałem tutaj przekazać.

Od kilku tygodni na różnych forach toczy się dyskusja nad nowym „filtrem” Google, który przy użyciu operatora „site” pokazuje np.: tylko 260 wyników. Powtórzenie tego wyszukiwania z wyłączonym filtrem pokazuje już pełną liczbę zaindeksowanych stron.

Przeglądając moje strony znalazłem 3szt., gdzie można było zaobserwować taki wynik.
Po kilkudniowych obserwacjach nie zauważyłem jednak by w jakikolwiek sposób szkodziło to tym stronom. Po około tygodniu od zauważenia na dwóch stronach ten operator zaczął zachowywać się normalnie.

Niektórzy snują domysły, dlaczego tak jest, co zrobić by strona nie wpadła w taki filtr i co zrobić by z niego się wydostać. Moja odpowiedz brzmi – nic nie robić.

Dlaczego? Bo to prawdopodobnie nie jest filtr tylko błędne działanie tego operatora, do stanu tego poniekąd przyznano się na jednym z oficjalnych blogów Google z informacją, że kiedyś to naprawią jednak nie prędko, bo to nie przeszkadza „normalnym” używaniu tego operatora, czyli wyszukaniu danej frazy w obrębie jednej strony.

Dziś za to możemy obserwować totalne szaleństwo.
Na jednej z moich stron zauważyłem takie o to cudo
„Rezultaty od 1 – 2 z około 0 z ********** z włączonym . (Znaleziono w 0,13 sek.)”.
Ciekawie mnie przeogromnie jak mogą być dwa rezultaty z zera :) na stronie, która ma mało bo tylko 5 podstron ale są one zaindeksowane.

Na Kolejnej stronie
„Wyniki 1 – 2 z 2 z domeny ********** dla zapytania . (Znaleziono w 0,94 sek.)”, przy wyłączonym filtrze około 2,5k podstron.

I jeszcze jedna „Wyniki 1 – 3 z 3 z domeny ********** ”, strona ma zaindeksowane ponad 5k podstron.

No zabawnie dziś jest, niektórzy pewnie już testują, dlaczego tak jest a ja jednak będę powtarzał, że to po prostu kolos się chwieje, bo za dużo kombinuje.

„Sieczkę” z tym operatorem opisałem już w tamtym roku w tym wpisie, jak widać po prostu załatali wtedy dziurę „na okrętkę”, lecz szew puścił lub rozdarło się w innym miejscu i znowu mamy aferę.

     Kilka osób pytało się mnie jak określić liczbę podstron znajdujących się w „wynikach uzupełniających”.
Strony takie wyszukujemy operatorem site:nazwa-domeny *** -view.
Sprawdźcie swoje strony, naprawdę wyniki takiego zapytania nieraz są zatrważające.

     Aktualnie „Supplemental Result” jest jednym z głównych kierunków moich testów.
Mam nadzieję, że w ciągu dwóch miesięcy będę mógł podzielić się z Wami, tutaj na mym blogu, wynikami tych testów wraz z radami jak najskuteczniej go uniknąć lub przynajmniej zminimalizować ilość stron w tym indeksie.

     W styczniu kupiłem domenę, którą używał jakiś czas temu „niedobry spamer” :) Kupiłem ją świadomie wiedząc o jej historii, by za radą Google zażądać ponownego uwzględnienia, jako nowy, w pełni przestrzegający zaleceń, właściciel. Od dwóch miesięcy do domeny prowadziły linki z moich stron, bot odwiedził ją raz, nie pojawiła się w indeksie.
Dodałem tą domeną do mojego zestawu map w panelu Google i użyłem magicznego linku z anchorem „Prześlij żądanie ponownego uwzględnienia”. Na wynik tej czynności pozostaje mi teraz czekać.
     Jakież jednak było moje zdziwienie, gdy okazało się, że mimo ewidentnego bana są o niej informacje, do tego aktualne, przynajmniej jeśli chodzi o PR.
W zakładce „Statystyka” w sekcji „Statystyki indeksowania” ujrzałem, że moja domena, nie przejmując się banem aktualny posiada PageRank

     nie tylko dla strony głównej ale także dla podstron.

     W sekcji „Analiza stron” jak na dłoni pokazane są słowa z treści tej strony

      a w podsumowaniu diagnostyki widnieje zdanie „W indeksie Google nie są aktualnie uwzględnione żadne strony tej witryny. Zaindeksowanie może zająć trochę czasu…….”  

     Domena nie była używana od połowy 2005r. a ta ciekawa sytuacja może wskazywać fakt, że istnieje indeks dla zbanowanych domen lub wcale nie są one usuwane z indeksu głównego, tylko posiadają atrybut określający ban.

     Wśród pozycjonerów istnieje podejrzenie, że domeny są usuwane z indeksu ręcznie, jednak jeśli Google zachowuje i przelicza dane domen usuniętych, mogę podejrzewać, że prędzej czy później wyciągną z tych danych „wspólny mianownik” i stworzą narzędzie do automatycznego banowania stron, co na pewno podniosłoby skuteczność i jakość wyszukiwania. Jak wiemy z tym jest coraz większy problem. Możliwe też, że mechanizm ten ma zapobiec ponownemu użyciu, idealnie tej samej treści na nowej domenie. Tej teorii nie jestem jednak w stanie sprawdzić, ponieważ w mojej karierze nie udało mi się doprowadzić żadnej strony do usunięcia z indeksu.

     Nie można też się dziwić, że nasza ulubiona wyszukiwarka ma takie problemy z przeliczaniem czegokolwiek, jak trzyma tak dużo danych o dziesiątkach tysięcy domen, które teoretycznie nie istnieją.