Crawl Budget
Crawl Budget czyli budżet indeksowania witryny to maksymalna liczba stron, które Google może zaindeksować w obrębie jednej witryny internetowej. Innymi słowy Crawl Budget to potencjał jaki posiada twój serwis aby odnieść sukces w wyszukiwarce internetowej i wyprzedzić konkurencję.
To zagadnienie wchodzi w zakres usługi audyt SEO, tam opisaliśmy, jak wykorzystujemy je w codziennej pracy. Stawki za tę usługę zebraliśmy w cenniku.
Crawl Budget nie jest wartością stałą i dla każdej witryny jest wyliczany indywidualnie. Składają się na niego czynniki on-site, takie jak prędkość strony, obecność nawigacji fasetowej, duplikacja treści wewnątrz witryny, atak hakerski lub drobne niedociągnięcia techniczne. W uproszczeniu można przyjąć, że im prościej i szybciej będzie się robot Google mógł przemieszczać po witrynie, tym większym budżetem crawlowania dysponujemy.
Problematyka Crawl Budget dotyczy dużych serwisów internetowych jak strony newsowe oraz sklepy posiadające więcej niż 1000 produktów. Zwykłe strony usługowe, lokalne czy nawet ogólnokrajowe nie odczuwają zazwyczaj ograniczeń w budżecie crawlowania.
Przy dużych serwisach crawl budget decyduje o tym, które podstrony Google w ogóle odwiedzi. Tysiące cienkich stron filtrów i duplikatów potrafią wypchnąć z indeksu kluczowe kategorie, czyli te, które realnie sprzedają.