Googlebot (nebo někdy GoogleBot) se říká crawlerovi vyhledávače Google, který prochází stránky na internetu a ukládá je do indexu, tj. do své databáze, odkud jsou pak při zadání vyhledávacího dotazu zobrazovány v podobě výsledků vyhledávání.
Googlebot a robots.txt
Googlebot patří k vychovaným robotům a proto se řídí direktivami v souboru robots.txt. Pokud si tedy majitel webu nepřeje, aby Goolebot nějaké stránky jeho webu navštěvoval (a indexoval), stačí mu to zákazat v tomto textovém souboru, který majitel vystaví v kořenovém adresáři své domény. A Googlebot to bude respektovat.
Googlebot a meta tag robots
GoogleBot se také řídí příkazy, které mu dáme v meta tagu robots, což je speciální značka umístěná v hlavičce HTML dokumentu. Tato značka například zakáže všem robotům ukládání stránky do indexu (databáze, odkud se pak zobrazují výsledky vyhledávání):
<meta name="robots" content="noindex,follow">
A teď jeden bonusový špek. Málo se to ví, ale Googlebota lze v meta tagu robots vyselektovat i přímo:
<meta name="googlebot" content="index,follow">
Googlebot a doba načítání stránky
Experimenty bylo zjištěno, že Googlebot je extrémně vytrvalý a počká si na stránky, které se pomalu načítají, až tři minuty.
Zaujal jsem vás? Přihlašte se do mailingu a mé další texty už vám neuniknou:
Zprávy posílám cca 8× ročně. Odhlásit se můžete kdykoliv. Více informací.