Crawl budget – to określona częstotliwość, z jaką crawlery i boty wyszukiwarek mogą indeksować naszą stronę oraz całkowita ilość adresów, które mogą crawlować jednorazowo. Termin ten został wprowadzony w celu wskazania powiązanych koncepcji i systemów wykorzystywanych przez wyszukiwarki przy podejmowaniu decyzji, ile witryn i które z nich mają być indeksowane. Crawl Budget opiera się na dwóch zjawiskach: Crawl Rate Limit, czyli limicie indeksowania, który wskazuje, jak dużo indeksowania może obsłużyć strona i jakie są preferencje jej właściciela oraz Crawl Demand, czyli zapotrzebowaniu na indeksowanie, które informuje, jakie adresy URL są warte crawlowania. Sugestie są tworzone na podstawie popularności i częstotliwości aktualizacji strony.
