Indexace webu je proces, při kterém crawler vyhledávače prochází jednotlivé stránky webu pomocí interních odkazů, hodnotí je a ukládá si je do své databáze, tzv. indexu. Odtud je pak zobrazuje v podobě výsledků vyhledávání uživatelům, kteří mu položili vyhledávací dotaz.
Obsah
Zákaz indexace
Existují dva způsoby, jak robotovi zakázat indexaci stránky:
-
Meta tag robots
Meta tag robots je speciální značka, která se umisťuje do hlavičky HTML dokumentu.
-
HTTP hlavička X-Robots-Tag
X-Robots-Tag je HTTP hlavička, která se používá k zákazu indexace souborů jiných typů, než je HTML. Například obrázků či PDF souborů.
Zákaz indexace pomocí souboru robots.txt
Chování robota ovlivňuje také soubor robots.txt, ale ten pouze zakáže robotovi crawling (procházení webu či dané stránky). Nemá vliv na to, zda robot vyhledávač stránku udržuje v indexu. Dříve sice existovala také direktiva noindex, vyhledávače se jí však už roky neřídí.
Pozor také na kombinaci, kdy robotovi v meta tagu robots zakážeme indexaci a pro jistotu mu také zakážeme přístup pomoocí robots.txt. Stránka nám pak z indexu vyhledávače nevypadne, protože:
- robot se bude řídit naším doporučením
- na stránku proto vůbec nepůjde
- takže si nestáhne a neprozkoumá ji
- vůbec tak nezjistí, že si přejeme, aby stránku z indexu odstranil
Zaujal jsem vás? Přihlašte se do mailingu a mé další texty už vám neuniknou:
Zprávy posílám cca 8× ročně. Odhlásit se můžete kdykoliv. Více informací.