robots.txt
robots.txt — текстовый файл в корне сайта, который сообщает роботам, какие разделы можно и нельзя сканировать.
SEO-инструменты
Тестер robots.txt
Проверьте, разрешён ли URL для конкретного робота (RFC 9309).
Термины SEO Wiki
Краулинговый бюджет
Краулинговый бюджет — количество URL, которые робот может и хочет просканировать на сайте за определённый период.
Расскажите о проекте
Обсудим ваш проект?
Оставьте адрес сайта и цель — в течение рабочего дня получите первые наблюдения и следующие шаги.
Или напишите напрямую