Meta tag Robots

Meta tag Robots umožňuje nastavení direktivy pro roboty internetových vyhledávačů. Za pomoci tohoto příkazu můžeme robotům zakázat indexaci dotčené stránky, aby nenásledovaly odkazy z této stránky nebo třeba aby nezobrazovaly úryvky ze stránky ve výsledku vyhledávání. Při nahrazení tohoto meta tagu tagem „Googlebot“ nebo například „Googlebot-news“ se stejnými parametry dosáhneme stejného efektu pro konkrétní vyhledávače. Ihned na úvod si musíme říci, že tento tag pro Seznam bota nefunguje.

Buďte také velmi opatrní při jeho nasazování s kombinací s instrukcemi uvedenými v „robots.txt“, protože v obdobných článcích jsou mnohdy chybné údaje. Na závěr článku je tato kombinace popsána i s oficiálním zdrojem.

Parametry Meta tagu Robots

Údaje meta tagu Robots udáváme ve dvou parametrech. V první části řekneme o jaký meta tag se jedná. V tomto případě „Robots“ a v druhém pak vlastní údaj. Ten je buď restriktivní, tedy zakazuje robotům vyhledávače následovat nebo indexovat a druhé jsou pozitivní, kdy naopak říkají robotům co je povoleno. Pokud neuvedeme žádná restriktiva, respektive neuvedeme tento tag v kódu vůbec, přistupují vyhledávače ke stránce tak, že je vše povoleno.

Následuje seznam možných parametrů:

Pozitivní zápisy:

  • index

    Umožňuje plné indexování obsahu stránky. Tedy indexaci bez omezení

  • follow

    Umožňuje robotům vyhledávače, aby následovaly všechny odkazy, které se na dané stránce nacházejí

  • all

    Je pozitivním ekvivalentem zápisu „index“ a „follow“. Umožňuje tedy robotům, aby daný obsah indexovaly i následovaly odkazy z této stránky.

Restriktivní zápisy:

  • noindex

    Zakazuje robotům, aby tuto danou stránku vložily do indexu vyhledávače

  • nofollow

    Zakazuje robotům vyhledávače, aby následovaly všechny odkazy vedoucí z této stránky. Doporučeno i pro stránky, které nemáte plně pod kontrolou.

  • nosnippet

    Zakáže vyhledávačům, aby zobrazovaly ve výsledcích vyhledávání úryvky textu ze stránky nebo mediální obsah. U videí se například Google pokusí zobrazit místo videa pouze statický obrázek.

  • noarchive

    Zabrání vyhledávačům, aby u této stránky zobrazovaly odkaz Archiv

  • Noimageindex

    Zakazuje zobrazovat obrázky dané stránky jako odkazy z webu „Obrázky“ na Google.

  • none

    Je ekvivalent restriktivního zápisu „noindex“ a „nofollow“. Tedy zakazuje indexaci obsahu i následování odkazů z této stránky.

  • Nocache

    Má stejnou funkci jako „noarchive“, avšak platí pouze pro Firefox a Internet Explorer.

  • Sponsored

    Označujete odkazy jako reklamní (ať již prodané nebo součástí nějaké dohody). Platné od 1.9.2019.

  • ugc

    Označujete odkazy na místa, která jsou tvořena uživateli a nemusíte je mít tedy pod kontrolou (obvykle komentáře, fóra)). Platné od 1.9.2019.

Ostatní zápisy:

  • unavailable_after: „Datum“

    Zakazuje robotům vyhledávačů procházet a indexovat tuto stránku po předem stanoveném datu. Tato direktiva je vhodná pokud tvoříte dočasný obsah (například akci s určitou dobou platnosti nebo opakující se událost) . Z hlediska SEO je sice vhodné naplnit web smysluplným obsahem, avšak web má být tvořen zejména pro uživatele. Proto není vhodné například u opakujících se akcí, nutit uživatele aby zjistili která z nich je platná apod.

Nahrazení Meta tagu Robots konkrétním robotem

Můžeme nahradit název meta tagu názvem robota. V některých situacích může být výhodné povolit nebo zakázat Googlu indexování. Nebo si například nepřejeme, aby nás sledovaly specifičtí roboti (ovšem za předpokladu, že respektují direktivu). Tato direktiva však spolehlivě funguje pouze pro Google. Seznam tuto direktivu nepodporuje:

Podobné to je v případě použití X-Robots:

Vložení instrukce do kódu stránky

Instrukce pro roboty, tedy Meta tag Robots nebo Specifický robot se vkládají do sekce <head>:

Copy to Clipboard

Kombinace Meta tagu „Robots“ s instrukcemi v „robots.txt“

Mnohdy je výhodné zakázat části webu pro procházení robotům v souboru „robots.txt“. Zároveň u jednotlivých stránek zakázat indexování (vhodné pro přihlašovací stránky, systémové stránky nebo třeba komentáře). Pokud toto uděláte, může dojít k tomu, že oba hlavní vyhledávače (Google i Seznam) si již nepřečtou instrukci pro zákaz indexování přímo na stránce (protože se řídí souborem „robots.txt“ a stránku zaindexují:

Stanovisko Seznam.cz, které naleznete v oficiálním článku Meta tag robots:

„Pokud zakážete stahování v robots.txt, SeznamBot si informaci o zákazu indexování již nepřečte a může se stát, že se zákaz indexace nezaregistruje a neuplatní.“

Stanovisko Google, které se také nachází v článku  s odkazem Meta tag and X-Robots tag:

„Robots meta tags and X-Robots-Tag HTTP headers are discovered when a URL is crawled. If a page is disallowed from crawling through the robots.txt file, then any information about indexing or serving directives will not be found and will therefore be ignored. If indexing or serving directives must be followed, the URLs containing those directives cannot be disallowed from crawling.“

Stále se setkávám s tím, že developer zapomněl při předání hotového webu klientovi povolit indexaci obsahu. Zkontrolujte tedy, prosím, zda je na vašich stránkách v tomto ohledu vše v pořádku. Jak je vidět z výše uvedených možností jedné jediné instrukce, takhle se dá zabít SEO na vašich stránkách.

Několik rad na závěr:

Pokud nepoužijete žádnou instrukci – je dovoleno vše

Specifikace „SeznamBot“ není podporována

Při kombinaci s robots.txt umožnit stažení obsahu

Při vypuštění webu zkontrolujte zda nezakazujete indexaci a procházení

Další Meta tagy se kterými je vhodné pracovat, nebo které můžete ignorovat, naleznete v článku Meta tagy.