Доверенные боты и ИИ-краулеры
Пропустите хороших ботов и поймайте подделки, которые лишь копируют их имена.
Не каждый бот плохой. Поисковые системы индексируют ваши страницы. Боты предпросмотра ссылок строят карточки, которые люди видят, когда делятся вашей ссылкой. ИИ-провайдеры читают интернет своими краулерами. Если вы их заблокируете, вы потеряете видимость.
Но имя бота легко скопировать. Любой скрапер может назваться «Googlebot» в своём User-Agent. Поэтому BotBlocker не доверяет одному имени. На вкладках Доверенные боты и LLM у каждого краулера есть имя и доказательство: откуда приходит настоящий краулер. Посетитель с правильным именем и правильным происхождением проходит. Посетитель с правильным именем и неправильным происхождением — подделка, и BotBlocker отказывает ему.

Вкладка Доверенные боты. Откройте её через BotBlocker → Правила и IP → Доверенные боты.
Сначала имя, затем доказательство
Для каждого посетителя BotBlocker ищет текст из поля Поиск каждого доверенного бота в User-Agent. Регистр не важен. Когда он находит совпадение, он проверяет доказательство в поле Данные. Доказательство может содержать три вида записей, разделённых пробелами:
- Окончание имени хоста, например
.googlebot.com. BotBlocker выполняет обратный DNS-запрос для адреса посетителя. Затем он проверяет, что имя заканчивается правильно и что имя указывает обратно на тот же адрес. Подделка не может пройти эту проверку, потому что она не контролирует DNS настоящего провайдера. BotBlocker сохраняет результат на некоторое время, поэтому не повторяет запрос при каждом визите. См. Кеш обратного DNS. - Адрес или диапазон, записанный как
ip:66.249.64.0/19. Адрес посетителя должен быть в этом диапазоне. - Сеть, записанная как
asn:15169. Посетитель должен приходить из этой сети, и у той же сети должно быть правило Разрешить на вкладке ASN. См. Правила по странам и ASN.
Если совпадает хотя бы одна запись, посетитель — подтверждённый хороший бот. BotBlocker пропускает его без страницы проверки и без ограничения скорости. Если не совпадает ни одна запись, BotBlocker отказывает посетителю и записывает его как «Fake bot detected».
Одна точка (.) в поле Данные означает «доверять имени без доказательства». Не используйте её. Любой, кто скопирует имя, пройдёт.
Свежая установка уже содержит записи для крупных поисковых систем и их вспомогательных ботов, например Google, Bing, Yandex, Apple, DuckDuckGo и Baidu. Вам не нужно их добавлять.
Доверенные боты проверяются раньше
Вкладки LLM и Доверенные боты проверяются раньше списков IP и всех остальных правил. Поэтому подтверждённый краулер не останавливается правилом ASN или страны в обычных проверках. Полный порядок — в разделе Правила и списки IP.
ИИ-краулеры на вкладке LLM
На вкладке LLM перечислены ИИ-провайдеры и их краулеры. Облако BotBlocker поддерживает этот список в актуальном состоянии. Вы не добавляете здесь записи. Вы лишь решаете, каким провайдерам доверяете.
Для каждого провайдера таблица показывает имя Провайдер, публикуемые им Диапазоны IP-адресов и Токены UA, то есть имена в User-Agent. Проверка работает так же, как на вкладке Доверенные боты, но только с диапазонами адресов. Посетитель с совпадающим токеном из перечисленного диапазона — подтверждённый ИИ-краулер. Посетитель с совпадающим токеном с любого другого адреса отклоняется как подделка.
В каждой строке есть Включить и Отключить. Когда вы отключаете провайдера, BotBlocker не блокирует его. Он лишь перестаёт ему доверять. Тогда его краулер проходит обычные проверки, как любой другой посетитель, и обычно не проходит страницу проверки. Синхронизировать из облака получает последний список сейчас, а Скачать как JSON сохраняет копию.
Настройки
Доверенные боты
Эти поля находятся в диалоге Добавить доверенного бота.
Приоритет
Позиция записи в списке, от 1 до 100. Меньшее число идёт первым. BotBlocker останавливается на первой записи, имя которой совпало. Поэтому если две записи могут совпасть с одним и тем же User-Agent, дайте более конкретной из них меньшее число. Встроенные записи поисковых систем используют приоритет 1.
Правило
По умолчанию: Разрешить
Действие для совпадающего краулера: Разрешить, Серый, Тёмный или Блокировать. Только Разрешить использует доказательство в поле Данные. Остальные действия применяются к каждому посетителю с этим именем, без проверки происхождения:
- Разрешить: проверить происхождение, затем пропустить настоящего краулера.
- Серый: пометить посетителя как подозрительного — его ещё нужно проверять дальше.
- Тёмный: считать посетителя плохим — ботом или взломщиком — и отправить его на страницу проверки.
- Блокировать: отклонить каждого посетителя с этим именем. Используйте это для краулера, который вам никогда не нужен, например агрессивного SEO-инструмента.
Поиск
Текст для поиска в User-Agent, например Googlebot. Используйте часть, уникальную для этого краулера. Короткий или распространённый текст, например bot, совпадает со слишком большим числом посетителей.
Данные
Доказательство происхождения: окончания имён хостов, например .googlebot.com .google.com, диапазоны ip: или сети asn:, разделённые пробелами. Копируйте их из собственной документации краулера. Например, Google публикует инструкцию, как проверить Googlebot.
Если доказательство неверно или устарело, настоящий краулер отклоняется как подделка. Если доказательство слишком слабое, подделки проходят.
Комментарий
Имя краулера и место, где вы нашли его доказательство, например «Bing, из документации Microsoft». Это поможет вам позже обновить запись.
LLM
У вкладки LLM нет полей. Вы используете Включить и Отключить в каждой строке, а также кнопки Синхронизировать из облака и Скачать как JSON над таблицей. Если таблица пуста, нажмите Синхронизировать из облака.
Когда что-то идёт не так
- Нужный вам краулер отклоняется как «Fake bot detected»? Его происхождение не совпадает с полем Данные. Возможно, у провайдера появились новые имена хостов или диапазоны. Обновите Данные по документации провайдера. Не заменяйте их точкой.
- Нужный вам краулер всё равно получает страницу проверки? Проверьте, что его запись включена и что Поиск присутствует в его настоящем User-Agent. Посмотрите User-Agent в журнале посетителей, см. Журналы трафика и аудита.
- Настоящие краулеры везде не проходят проверку имени хоста? Возможно, ваш сервер не может выполнять DNS-запросы. Спросите у своего хостинг-провайдера и прочитайте Кеш обратного DNS.
- Хотите не пускать всех ИИ-краулеров одного провайдера? Отключите провайдера на вкладке LLM. Чтобы отклонять их сразу, также добавьте запись Блокировать с их токеном на вкладке Доверенные боты.
- Вкладка LLM пуста? Нажмите Синхронизировать из облака. BotBlocker также пытается самостоятельно восстановить пустой список через несколько минут.