Jan Štráfelda - Průvodce internetovými projekty
celá ČR (přes video)  |  776 678 044  |  jan@strafelda.cz

X-Robots-Tag

X-Robots-Tag je speciální HTTP hlavička, která informuje crawlera vyhledávače, že má zakázáno indexování dané URL adresy. Tj. říká mu, že si stránku nesmí uložit do své databáze (indexu), odkud pak vyhledávač vypisuje výsledky vyhledávání.

Kdy se X-Robots-Tag hodí

Obvykle se k zákazu indexace používá známější meta tag robots, značka umisťovaná v hlavičce HTML souboru. Někdy však potřebujeme zakázat indexaci i u souborů, které nemají strukturu HTML. Nejčastěji jsou to:

  • obrázky ve formátu JPG, PNG či GIF, které chceme odstranit z vyhledávání obrázků
  • PDF soubory (třeba nějaké nabídky apod.)
  • XML soubor, sloužící třeba pro komunikaci s jinou aplikací

Pak je hlavička X-Robots-tag jediným možným řešením.

E-book za mail

Získejte podrobný návod Jak na e-mail marketing (52 stran). Více informací.

Žádný spam, jen užitečný obsah. Newsletter posílám cca 8× ročně. Odhlásíte se kdykoliv.

Jak vypadá hlavička X-Robots-Tag

HTTP hlavička mívá následujcí formát:

X-Robots-Tag: [hodnota]

Za slovo [hodnota] zde dosazujeme příkazy, které vyhledávači udělujeme, stejně jako u meta tagu robots. Je-li příkazů více, oddělujeme je čárkou. Obvykle je to buď noindex, nebo kombinace noindex, nofollow:

X-Robots-Tag: noindex

Jak X-Robots-Tag posílat

HTTP hlavičky vrací podle svého nastavení buď server, nebo webová aplikace, která na serveru běží (například redakční systém).

Příklad nastavení serveru

Takto vypadá konfigurace serveru Apache v souboru .htaccess, která zajišťuje posílání hlavičky X-Robots-Tag zakazující indexaci všech obrázků ve formátech GIF, PNG a JPG:

<Files ~ "\.(gif|png|jpe?g)$">
  Header set X-Robots-Tag "noindex"
</Files>

Příklad příkazu v aplikaci

Pokud používáte aplikaci vytvořenou v PHP a generujete s jeho pomocí nějaký soubor, jehož indexaci potřebujete zakázat, pak stačí přidání jediné řádky:

header('X-Robots-Tag: noindex', TRUE);

Jak ověřit, že se hlavička posílá

Nejjednodušší je načíst si stránku pomocí některého z nástrojů, které HTTP hlavičky zobrazují. Pokud vám v seznamu hlaviček ukáže také X-Robots-Tag, vše je v pořádku. Zkusit můžete třeba Server Header Checker.

Podpora ve vyhledávačích

  • Vyhledávač Google podporuje hlavičku X-Robots-Tag od roku 2007.
  • Vyhledávač Seznam bohužel zatím hlavičku X-Robots-Tag nepodporuje.

O autorovi

Jsem Jan Štráfelda a působím jako průvodce online projekty. Potřebujete předělat web či e-shop? Nebo posunout internetový marketing? Poradím s obojím. 14 let budování vlastní digitální agentury mě skvěle vyškolilo – a rád se o zkušenosti podělím.

S čím také umím pomoci:

Své znalosti sdílím i na LinkedIn. Přidejte se k 2 811 marketérům, kteří z nich již pravidelně těží.