Jan Štráfelda - Průvodce online -projektem
Praha/Mělník  |  776 678 044  |  jan@strafelda.cz  |  Pošlete mi poptávku

Indexace webu

Indexace webu je proces, při kterém crawler vyhledávače prochází jednotlivé stránky webu pomocí interních odkazů, hodnotí je a ukládá si je do své databáze, tzv. indexu. Odtud je pak zobrazuje v podobě výsledků vyhledávání uživatelům, kteří mu položili vyhledávací dotaz.

Zákaz indexace

Existují dva způsoby, jak robotovi zakázat indexaci stránky:

  1. Meta tag robots

    Meta tag robots je speciální značka, která se umisťuje do hlavičky HTML dokumentu.

  2. HTTP hlavička X-Robots-Tag

    X-Robots-Tag je HTTP hlavička, která se používá k zákazu indexace souborů jiných typů, než je HTML. Například obrázků či PDF souborů.

Zákaz indexace pomocí souboru robots.txt

Chování robota ovlivňuje také soubor robots.txt, ale ten pouze zakáže robotovi crawling (procházení webu či dané stránky). Nemá vliv na to, zda robot vyhledávač stránku udržuje v indexu. Dříve sice existovala také direktiva noindex, vyhledávače se jí však už roky neřídí.

Pozor také na kombinaci, kdy robotovi v meta tagu robots zakážeme indexaci a pro jistotu mu také zakážeme přístup pomoocí robots.txt. Stránka nám pak z indexu vyhledávače nevypadne, protože:

  1. robot se bude řídit naším doporučením
  2. na stránku proto vůbec nepůjde
  3. takže si nestáhne a neprozkoumá ji
  4. vůbec tak nezjistí, že si přejeme, aby stránku z indexu odstranil
Pokud vám článek pomohl, pomozte mi na oplátku vy a nechte mi recenzi.

Zaujal jsem vás? Přihlašte se do mailingu a mé další texty už vám neuniknou:

Zprávy posílám cca 8× ročně. Odhlásit se můžete kdykoliv. Více informací.