X-Robots-Tag

X-Robots-Tag je speciální HTTP hlavička, která informuje crawlera vyhledávače, že má zakázáno indexování dané URL adresy. Tj. říká mu, že si stránku nesmí uložit do své databáze (indexu), odkud pak vyhledávač vypisuje výsledky vyhledávání.

Kdy se X-Robots-Tag hodí

Obvykle se k zákazu indexace používá známější meta tag robots, značka umisťovaná v hlavičce HTML souboru. Někdy však potřebujeme zakázat indexaci i u souborů, které nemají strukturu HTML. Nejčastěji jsou to:

• obrázky ve formátu JPG, PNG či GIF, které chceme odstranit z vyhledávání obrázků
• PDF soubory (třeba nějaké nabídky apod.)
• XML soubor, sloužící třeba pro komunikaci s jinou aplikací

Pak je hlavička X-Robots-tag jediným možným řešením.

Jak vypadá hlavička X-Robots-Tag

HTTP hlavička mívá následujcí formát:

X-Robots-Tag: [hodnota]

Za slovo [hodnota] zde dosazujeme příkazy, které vyhledávači udělujeme, stejně jako u meta tagu robots. Je-li příkazů více, oddělujeme je čárkou. Obvykle je to buď noindex, nebo kombinace noindex, nofollow:

X-Robots-Tag: noindex

Jak X-Robots-Tag posílat

HTTP hlavičky vrací podle svého nastavení buď server, nebo webová aplikace, která na serveru běží (například redakční systém).

Příklad nastavení serveru

Takto vypadá konfigurace serveru Apache v souboru .htaccess, která zajišťuje posílání hlavičky X-Robots-Tag zakazující indexaci všech obrázků ve formátech GIF, PNG a JPG:

<Files ~ "\.(gif|png|jpe?g)$">
  Header set X-Robots-Tag "noindex"
</Files>

Příklad příkazu v aplikaci

Pokud používáte aplikaci vytvořenou v PHP a generujete s jeho pomocí nějaký soubor, jehož indexaci potřebujete zakázat, pak stačí přidání jediné řádky:

header('X-Robots-Tag: noindex', TRUE);

Jak ověřit, že se hlavička posílá

Nejjednodušší je načíst si stránku pomocí některého z nástrojů, které HTTP hlavičky zobrazují. Pokud vám v seznamu hlaviček ukáže také X-Robots-Tag, vše je v pořádku. Zkusit můžete třeba Server Header Checker.

Podpora ve vyhledávačích

• Vyhledávač Google podporuje hlavičku X-Robots-Tag od roku 2007.
• Vyhledávač Seznam bohužel zatím hlavičku X-Robots-Tag nepodporuje.