E-book za mail
Získejte podrobný návod Jak na e-mail marketing (52 stran). Více informací.
Žádný spam, jen užitečný obsah. Newsletter posílám cca 8× ročně. Odhlásíte se kdykoliv.
Googlebot a robots.txt
Googlebot patří k vychovaným robotům a proto se řídí direktivami v souboru robots.txt. Pokud si tedy majitel webu nepřeje, aby Goolebot nějaké stránky jeho webu navštěvoval (a indexoval), stačí mu to zákazat v tomto textovém souboru, který majitel vystaví v kořenovém adresáři své domény. A Googlebot to bude respektovat.
Googlebot a meta tag robots
GoogleBot se také řídí příkazy, které mu dáme v meta tagu robots, což je speciální značka umístěná v hlavičce HTML dokumentu. Tato značka například zakáže všem robotům ukládání stránky do indexu (tj. do databáze, odkud se pak zobrazují výsledky vyhledávání):
<meta name="robots" content="noindex,follow">
A teď jeden bonusový špek. Málo se to ví, ale Googlebota lze v meta tagu robots vyselektovat i přímo:
<meta name="googlebot" content="index,follow">
Googlebot a doba načítání stránky
Experimenty bylo zjištěno, že Googlebot je extrémně vytrvalý a počká si na stránky, které se pomalu načítají, až tři minuty.