Meta tag robots wykorzystujemy do kontroli indeksacji podstrony. Możemy go umieścić na stronie w sekcji „head” lub przesłać w nagłówku HTTP jako X-Robots-Tag.
Przez wiele lat nic się w sposobie wykorzystania tego tagu nie zmieniło. Google niedawno postanowiło dodać nowy tag – „indexifembedded„, który w kodzie będzie miał postać:
meta name="googlebot" content="indexifembedded"
Użycie tego tagu będzie korzystne w specyficznej sytuacji.
Indexifembedded informuje Google o tym, że treść umieszczona na innej witrynie jako iframe lub podobny tag HTML (Object) ma być indeksowana mimo, że na oryginalnej stronie jest zablokowana poprzez noindex.
Według Google tag ten potrzebny jest dla wydawców, którzy chcieliby by ich zasoby był indeksowane na innych stronach, mimo że na oryginale jest blokada indeksacji. Jako przykład możemy podać multimedia, które w całości są zablokowane np. ze względu na ograniczanie zasobów ale na innych witrynach mógłby by być już indeksowane.
Np. gdybym dla poniższego obrazka utworzył podstronę multimediów to mógłbym nie chcieć by się indeksowała.
Wtedy umieściłbym na niej tag:
meta name="googlebot" content="noindex"
Gdybym jednak chciał by strona się indkesowała gdy umieszczę ją jako iframe na innej stronie dodałbym nowy tag jako osobną linię:
meta name="googlebot" content="noindex"
meta name="googlebot" content="indexifembedded"
Lub jako jeden tag w postaci:
meta name="googlebot" content="noindex,indexifembedded"
Jak już pisałem Tag można określić także w nagłówku HTTP:
X-Robots-Tag: googlebot:noindex
X-Robots-Tag: googlebot:indexifembedded
Lub
X-Robots-Tag: googlebot:noindex,indexifembedded
Nowy tag obecnie obsługuje tylko Google ale pewnie jak się przyjmie to inne wyszukiwarki także zaczną zwracać na niego uwagę.
Na razie u siebie nie widzę okazji do zastosowania tagu „indexifembedded”. Najczęściej jak treści wyświetlane są na innych domenach w iframe to nie za moją zgodą, więc wolałbym by się nie indeksowały.
Jednak w przypadku dużej liczby własnych stron i wykorzystania iframe w publikacji może być to pomocne.
Patrząc na to jak rzadko Google wprowadza takie zmiana zakładam, że wynikają z potrzeby wielu Wydawców.