Meta tag robots

Podoba meta tagu robots v HTML stránce

Meta tag robots je jedním z mnoha meta tagů, které se používají k přenášení dalších informací doplňujících obsah stránky. Na stránce zobrazené v prohlížeči ho neuvidíte, protože se zapisuje do hlavičky stránky. Ale pokud vás jeho hodnoty zajímají, můžete si ho snadno najít ve zdrojovém kódu stránky:

<meta name="robots" content="noindex,follow">

Je zvykem, že hodnoty atributů se v meta tagu robots píšou malými písmeny, ale obecně platí, že na velikosti písmen nezáleží.

Kde se meta tag robots nastavuje

Pochopitelně nemusíte zapisovat meta tag robots do zdrojového kódu ručně. Naprostá většina redakčních systémů umožňuje správu hodnot z pohodlí administrace. Obvykle se to dělá někde v nastaveních konkrétní stránky. Pokud takové nastavení nevidíte, ptejte se svého vývojáře.

Oblíbený redakční systém WordPress, pokud vím, stále ve výchozím nastavení správu meta tagu robots nepodporuje. Je však snadné ji doplnit přidáním speciálních pluginů, např. Yoast SEO.

Možné hodnoty meta tagu robots

Klasické, známé hodnoty

Hodnotami meta tagu robots může být index (indexuj stránku) či noindex (neidnexuj stránky) a zároveň follow (procházej odkazy) či nofollow (neprocházej odkazy). Hodnoty se oddělují čárkou. Z toho vyplývají následující smysluplné kombinace:

• index, follow – defaultní nastavení, stejně to bude fungovat, když robot meta tag robots na stránce nenajde
• index, nofollow
• noindex, follow – toto nastavení meta tagu robots se obvykle používá na výsledky fulltextového vyhledávání, stránkování apod.
• noindex, nofollow
• all – nestandardní nastavení, které znamená totéž, co index, follow

Tyto kombinace dlouhodobě fungují jak pro vyhledávač Google, tak i pro Seznam.

Novější hodnoty

Zatím se to málo to ví, ale Google kromě klasických hodnot popsaných výše podporuje i další hodnoty. Podporu některých přidal zřejmě v říjnu 2019, v souvislosti se Směrnicí EU o autorském právu na jednotném digitálním trhu.

• nosnippet – zakazuje vyhledávači zobrazovat ve výsledcích vyhledávání úryvek textu nebo náhled videa. U videa bude případně použit statický obrázek.
• max-snippet: [číslo] – meta tag robots s touto hodnotou omezuje délku úryvku stránky ve výsledcích vyhledávání na zadaný počet písmen. Pokud zadáme 0, funguje to stejně jako hodnota nosnippet, pokud zadáme -1, necháváme výběr délky úryvku na vyhledávači.
• max-image-preview: [nastavení] – definuje maximální velikost obrázku, která může být použita jako náhled stránky ve výsledcích vyhledávání. Možné hodnoty jsou none (žádný obrázek se nepoužije), standard (použije se výchozí velikost náhledu) a large (větší náhled, v závislosti na velikosti zařízení). Nastavení se týká všech podob výsledků vyhledávání, tedy i vyhledávání obrázků.
• max-video-preview: [číslo] – limituje video náhled asociovaný s danou stránkou na zadaný počet sekund. Pokud zadáme 0, bude jako náhled použit pouze obrázek, pokud zadáme -1, necháváme výběr délky videonáhledu na vyhledávači.
• noarchive – ve výsledcích vyhledávání se nezobrazí odkaz „ archív“ (v angličtině cached). Ten lidé používají třeba ve chvíli, kdy je samotná stránka nedostupná.
• unavailable_after: [datum/čas] – zde můžete specifikovat přesné datum i čas, kdy se má stránka přestat procházet a indexovat.
• noimageindex – zakazuje vyhledávači indexovat obrázky na dané stránce (takže se neobjeví ve výsledcích vyhledávání obrázků). Pozor na to, že pokud používáte tentýž obrázek na jiné stránce, která tuto hodnotu v meta tagu robots nemá nastavenou, obrázek se zaindexuje. Pokud tomu chcete zabránit, je nejlepším řešením zákaz v souboru robots.txt.
• notranslate – zakazuje vyhledávači nabízet ve výsledcích vyhledávání překlad. 

Pokud meta tag robots obsahuje dvě hodnoty, které si vzájemně odporují, Google se bude řídit tou, která je restriktivnější. Například poukd zadáte hodnoty max-snippet: 60 a nosnippet, vyhledávač se zachová, jako byste zadali pouze nosnippet.

Meta tag robots a Googlebot

Speciální meta tag robots pro Google

Robot vyhledávače Google zvaný Googlebot slyší i na upravenou podobu meta tagu robots, která pak slouží pouze pro něj (ostatní roboti ji ignorují):

<meta name="googlebot" content="noindex">

Podobně lze řídit třeba robota pro Google News, jen místo googlebot napíšeme googlebot-news. Pokud je třeba řídit více robotů Google odlišným způsobem, zapíšeme jednoduše meta značku několikrát za sebou (pochopitelně s odlišnými hodnotami atributu name).

I zde v případě konfliktu platí, že vyhledávač by se měl řídit restriktivnější variantou. Pokud tedy například pro všechny roboty indexaci povolíme a pro Googlebota ji v meta tagu robots zakážeme, Google stránku indexovat nebude.

Noindex a JavaScript

Pokud Googlebot narazí na meta tag robots s hodnotou noindex, ukončí okamžitě rendrování stránky a tedy nevykoná ani žádný vložený JavaScript.

Jak na meta tag robots v PDF souborech a obrázcích

Někdy je třeba zakázat indexování u souborů, které nemají formát HTML a není tedy možné do nich meta tagy vložit. Řešení naštěstí existuje a jmenuje se X-Robots-Tag. Jde o speciální HTTP hlavičku, které vyhledávač rozumí podobně jako meta tagu robots.

Časté chyby

1. Zákaz indexace v meta tagu robots a zákaz procházení v robots.txt

   Pozor na to, že pokud nastavíte v souboru robotxt.txt zákaz procházení stránky a na stránce samotné pak v meta tagu robot nastavíte zákaz procházení a indexace, vyhledávač se o zákazu indexace nedozví. To proto, že se bude řídit direktivami v robots.txt, stránku si tedy nestáhne a obsah meta tagu robots si nepřečte. Je to sice logické, ale podle mých zkušeností to člověku někdy nedojde.

2. Zákaz indexace stránky v meta tagu robots a její vyhození ze Sitemap.xml

   Sitemap.xml je speciální soubor, který vytváříme pro roboty vyhledávačů, aby snáze objevili všechny indexovatelné stránky našeho webu. Proto se zdá logické stránky, kterým jste nyní zakázali indexaci, co nejdříve ze souboru Sitemap.xml vypustit. Ale nedělejte to! Vyhledávači by pak trvalo mnohem déle, než by si změn v meta tagu robots všiml. Počkejte, až všechny stránky z indexu vyhodí a pak teprve je ze sitemap.xml odstraňte.