Crawl budget je pojem z oblasti optimalizace pro vyhledávače. Udává, kolik pozornosti je crawler vyhledávače ochoten věnovat konkrétnímu webu. Tj. kolik času na něm stráví a kolik stránek si projde a uloží do indexu za určitou časovou periodu (denně, měsíčně).
Každý web má jiný crawl budget
Crawl budget není stejné číslo pro všechny weby. Roste s tím, jak důležitý je daný web z pohledu vyhledávače. Na významné weby bude robot chodit častěji a bude zde ochoten strávit více času. Můžeme ho tedy ovlivnit linkbuildingem. Crawl budget bude také vyšší u webů, na nich vyhledávač zaznamenává časté aktualizace či pravidelné přidávání čerstvého obsahu.
Proč je crawl budget důležitý
Crawl budget se obvykle řeší u velkých webů a e-shopů, které mají vyšší desítky tisíc stránek a více. U nich se může stát, že robot vyčerpá přidělený čas na stránkách nedůležitých, které nemají potenciál přivádět velkou návštěvnost a do indexu se tak nedostanou stránky důležité.
Proto se procházení těch nedůležitých stránek obvykle zakazuje pomocí souboru robots.txt, řeší se přesměrování a kanonizace URL. Odstraňují se neexistující vnitřní odkazy, řetězce přesměrování a řeší se rychlost webu. Crawl budget je velké téma pro technické SEO.