X-Robots-Tag je speciální HTTP hlavička, která informuje crawlera vyhledávače, že má zakázáno indexování dané URL adresy. Tj. říká mu, že si stránku nesmí uložit do své databáze (indexu), odkud pak vyhledávač vypisuje výsledky vyhledávání.
Obsah
Kdy se X-Robots-Tag hodí
Obvykle se k zákazu indexace používá známější meta tag robots, značka umisťovaná v hlavičce HTML souboru. Někdy však potřebujeme zakázat indexaci i u souborů, které nemají strukturu HTML. Nejčastěji jsou to:
- obrázky ve formátu JPG, PNG či GIF, které chceme odstranit z vyhledávání obrázků
- PDF soubory (třeba nějaké nabídky apod.)
- XML soubor, sloužící třeba pro komunikaci s jinou aplikací
Pak je hlavička X-Robots-tag jediným možným řešením.
Jak vypadá hlavička X-Robots-Tag
HTTP hlavička mívá následujcí formát:
X-Robots-Tag: [hodnota]
Za slovo [hodnota] zde dosazujeme příkazy, které vyhledávači udělujeme, stejně jako u meta tagu robots. Je-li příkazů více, oddělujeme je čárkou. Obvykle je to buď noindex
, nebo kombinace noindex, nofollow
:
X-Robots-Tag: noindex
Jak X-Robots-Tag posílat
HTTP hlavičky vrací podle svého nastavení buď server, nebo webová aplikace, která na serveru běží (například redakční systém).
Příklad nastavení serveru
Takto vypadá konfigurace serveru Apache v souboru .htaccess, která zajišťuje posílání hlavičky X-Robots-Tag zakazující indexaci všech obrázků ve formátech GIF, PNG a JPG:
<Files ~ "\.(gif|png|jpe?g)$">
Header set X-Robots-Tag "noindex"
</Files>
Příklad příkazu v aplikaci
Pokud používáte aplikaci vytvořenou v PHP a generujete s jeho pomocí nějaký soubor, jehož indexaci potřebujete zakázat, pak stačí přidání jediné řádky:
header('X-Robots-Tag: noindex', TRUE);
Jak ověřit, že se hlavička posílá
Nejjednodušší je načíst si stránku pomocí některého z nástrojů, které HTTP hlavičky zobrazují. Pokud vám v seznamu hlaviček ukáže také X-Robots-Tag, vše je v pořádku. Zkusit můžete třeba Server Header Checker.
Podpora ve vyhledávačích
- Vyhledávač Google podporuje hlavičku X-Robots-Tag od roku 2007.
- Vyhledávač Seznam bohužel zatím hlavičku X-Robots-Tag nepodporuje.
Zaujal jsem vás? Přihlašte se do mailingu a mé další texty už vám neuniknou:
Zprávy posílám cca 8× ročně. Odhlásit se můžete kdykoliv. Více informací.