Zákaz indexace
Existují dva způsoby, jak robotovi zakázat indexaci stránky:
-
Meta tag robots
Meta tag robots je speciální značka, která se umisťuje do hlavičky HTML dokumentu.
-
HTTP hlavička X-Robots-Tag
X-Robots-Tag je HTTP hlavička, která se používá k zákazu indexace souborů jiných typů, než je HTML. Například obrázků či PDF souborů.
E-book za mail
Získejte podrobný návod Jak na e-mail marketing (52 stran). Více informací.
Žádný spam, jen užitečný obsah. Newsletter posílám cca 8× ročně. Odhlásíte se kdykoliv.
Zákaz indexace pomocí souboru robots.txt
Chování robota ovlivňuje také soubor robots.txt, ale ten pouze zakáže robotovi crawling (procházení webu či dané stránky). Nemá vliv na to, zda robot vyhledávač stránku udržuje v indexu. Dříve sice existovala také direktiva noindex, vyhledávače se jí však už roky neřídí.
Pozor také na kombinaci, kdy robotovi v meta tagu robots zakážeme indexaci a pro jistotu mu také zakážeme přístup pomoocí robots.txt. Stránka nám pak z indexu vyhledávače nevypadne, protože:
- robot se bude řídit naším doporučením
- na stránku proto vůbec nepůjde
- takže si nestáhne a neprozkoumá ji
- vůbec tak nezjistí, že si přejeme, aby stránku z indexu odstranil