Jan Štráfelda - Průvodce online -projektem
Praha/Mělník  |  776 678 044  |  jan@strafelda.cz  |  Pošlete mi poptávku

Meta tag robots

Meta tag robots je důležitá značka v hlavičce HTML stránky, která ovlivňuje chování robotů vyhledávačů. Podle toho, jaké hodnoty zde nastavíme, vyhledávač buď stránku zaindexuje (uloží do své databáze), nebo nezaindexuje. Můžeme také řídit, jak se vyhledávač zachová k odkazům na stránce – zda jimi projde na další odkazované stránky, či nikoliv.

Podoba meta tagu robots v HTML stránce

Meta tag robots je jedním z mnoha meta tagů, které se používají k přenášení dalších informací doplňujících obsah stránky. Na stránce zobrazené v prohlížeči ho neuvidíte, protože se zapisuje do hlavičky stránky. Ale pokud vás jeho hodnoty zajímají, můžete si ho snadno najít ve zdrojovém kódu stránky:

<meta name="robots" content="noindex,follow">

Je zvykem, že hodnoty atributů se v meta tagu robots píšou malými písmeny, ale obecně platí, že na velikosti písmen nezáleží.

Kde se meta tag robots nastavuje

Pochopitelně nemusíte zapisovat meta tag robots do zdrojového kódu ručně. Naprostá většina redakčních systémů umožňuje správu hodnot z pohodlí administrace. Obvykle se to dělá někde v nastaveních konkrétní stránky. Pokud takové nastavení nevidíte, ptejte se svého vývojáře.

Oblíbený redakční systém WordPress, pokud vím, stále ve výchozím nastavení správu meta tagu robots nepodporuje. Je však snadné ji doplnit přidáním speciálních pluginů, např. Yoast SEO.

Možné hodnoty meta tagu robots

Klasické, známé hodnoty

Hodnotami meta tagu robots může být index (indexuj stránku) či noindex (neidnexuj stránky) a zároveň follow (procházej odkazy) či nofollow (neprocházej odkazy). Hodnoty se oddělují čárkou. Z toho vyplývají následující smysluplné kombinace:

Tyto kombinace dlouhodobě fungují jak pro vyhledávač Google, tak i pro Seznam.

Novější hodnoty

Zatím se to málo to ví, ale Google kromě klasických hodnot popsaných výše podporuje i další hodnoty. Podporu některých přidal zřejmě v říjnu 2019, v souvislosti se Směrnicí EU o autorském právu na jednotném digitálním trhu.

Pokud meta tag robots obsahuje dvě hodnoty, které si vzájemně odporují, Google se bude řídit tou, která je restriktivnější. Například poukd zadáte hodnoty max-snippet: 60nosnippet, vyhledávač se zachová, jako byste zadali pouze nosnippet.

Meta tag robots a Googlebot

Robot vyhledávače Google zvaný Googlebot slyší i na upravenou podobu meta tagu robots, která pak slouží pouze pro něj (ostatní roboti ji ignorují):

<meta name="googlebot" content="noindex">

Podobně lze řídit třeba robota pro Google News, jen místo googlebot napíšeme googlebot-news. Pokud je třeba řídit více robotů Google odlišným způsobem, zapíšeme jednoduše meta značku několikrát za sebou (pochopitelně s odlišnými hodnotami atributu name).

I zde v případě konfliktu platí, že vyhledávač by se měl řídit restriktivnější variantou. Pokud tedy například pro všechny roboty indexaci povolíme a pro Googlebota ji v meta tagu robots zakážeme, Google stránku indexovat nebude.

Jak na meta tag robots v PDF souborech a obrázcích

Někdy je třeba zakázat indexování u souborů, které nemají formát HTML a není tedy možné do nich meta tagy vložit. Řešení naštěstí existuje a jmenuje se X-Robots-Tag. Jde o speciální HTTP hlavičku, které vyhledávač rozumí podobně jako meta tagu robots.

Časté chyby

  1. Zákaz indexace v meta tagu robots a zákaz procházení v robots.txt

    Pozor na to, že pokud nastavíte v souboru robotxt.txt zákaz procházení stránky a na stránce samotné pak v meta tagu robot nastavíte zákaz procházení a indexace, vyhledávač se o zákazu indexace nedozví. To proto, že se bude řídit direktivami v robots.txt, stránku si tedy nestáhne a obsah meta tagu robots si nepřečte. Je to sice logické, ale podle mých zkušeností to člověku někdy nedojde.

  2. Zákaz indexace stránky v meta tagu robots a její vyhození ze Sitemap.xml

    Sitemap.xml je speciální soubor, který vytváříme pro roboty vyhledávačů, aby snáze objevili všechny indexovatelné stránky našeho webu. Proto se zdá logické stránky, kterým jste nyní zakázali indexaci, co nejdříve ze souboru Sitemap.xml vypustit. Ale nedělejte to! Vyhledávači by pak trvalo mnohem déle, než by si změn v meta tagu robots všiml. Počkejte, až všechny stránky z indexu vyhodí a pak teprve je ze sitemap.xml odstraňte.

Zaujal jsem vás? Přihlašte se do mailingu a mé další texty už vám neuniknou:

 

Zprávy posílám cca 8 × ročně. Odhlásit se můžete kdykoliv. Více informací.



Nezávazná poptávka

  (volitelné)