X-Robots-Tag je speciální HTTP hlavička, která informuje robota vyhledávače, že má zakázáno indexování dané URL adresy. Tj. říká mu, že si stránku nesmí uložit do své databáze (indexu), odkud pak vyhledávač vypisuje výsledky vyhledávání.
Obvykle se k zákazu indexace používá známější meta tag robots, značka umisťovaná v hlavičce HTML souboru. Někdy však potřebujeme zakázat indexaci i u souborů, které nemají strukturu HTML. Nejčastěji jsou to:
Pak je hlavička X-Robots-tag jediným možným řešením.
HTTP hlavička mívá následujcí formát:
X-Robots-Tag: [hodnota]
Za slovo [hodnota] zde dosazujeme příkazy, které vyhledávači udělujeme, stejně jako u meta tagu robots. Je-li příkazů více, oddělujeme je čárkou. Obvykle je to buď noindex, nebo kombinace noindex, nofollow:
X-Robots-Tag: noindex
HTTP hlavičky vrací podle svého nastavení buď server, nebo webová aplikace, která na serveru běží (například redakční systém).
Takto vypadá konfigurace serveru Apache v souboru .htaccess, která zajišťuje posílání hlavičky X-Robots-Tag zakazující indexaci všech obrázků ve formátech GIF, PNG a JPG:
<Files ~ "\.(gif|png|jpe?g)$">
Header set X-Robots-Tag "noindex"
</Files>
Pokud používáte aplikaci vytvořenou v PHP a generujete s jeho pomocí nějaký soubor, jehož indexaci potřebujete zakázat, pak stačí přidání jediné řádky:
header('X-Robots-Tag: noindex', TRUE);
Nejjednodušší je načíst si stránku pomocí některého z nástrojů, které HTTP hlavičky zobrazují. Pokud vám v seznamu hlaviček ukáže také X-Robots-Tag, vše je v pořádku. Zkusit můžete třeba Server Header Checker.
Zaujal jsem vás? Přihlašte se do mailingu a mé další texty už vám neuniknou:
Zprávy posílám cca 8 × ročně. Odhlásit se můžete kdykoliv. Více informací.