Определение
Краулинговый бюджет — Краулинговый бюджет — количество URL, которые робот может и хочет просканировать на сайте за определённый период.
Короткий ответ
Реальная проблема в основном для больших сайтов (сотни тысяч страниц) или с большим числом URL от фильтров. Убирайте бесполезные URL, ошибки и цепочки редиректов.
Из чего состоит
Google описывает бюджет как результат двух факторов: лимита нагрузки (сколько можно сканировать, не перегружая сервер) и спроса на сканирование (насколько страницы популярны и обновляются).
Что расходует его впустую
- параметры и комбинации фильтров;
- soft 404 и дубли;
- цепочки редиректов;
- медленный сервер.
Источники
- Large site owner’s guide to managing your crawl budget — Google Search Central