Правила и списки IP

Примите решения, которые можете принять только вы, и BotBlocker применит их к каждому визиту.

BotBlocker решает большинство визитов сам. Но некоторые решения требуют вашего знания сайта. Платёжный провайдер всегда должен попадать на свой путь колбэка. Сеть отправляет только спам. У партнёрского инструмента User-Agent, который выглядит как бот. Правило — это то место, где вы записываете такое решение.

Каждое правило связывает субъект с действием. Субъект — это то, что BotBlocker ищет: User-Agent, источник, путь, адрес, страну, сеть или краулер. Действие — это то, что BotBlocker делает, когда находит его: пропускает посетителя, отправляет его на страницу проверки или отказывает ему. Правила действуют до автоматических проверок, поэтому они сильны. Добавляйте их с осторожностью, пишите комментарий к каждому и давайте временным правилам дату окончания.

Правила и списки IP в BotBlocker

Страница Правила и списки IP. Откройте её через BotBlocker → Правила и IP.

Одна страница, девять списков

На странице по одной вкладке для каждого вида правил. Эта страница объясняет вкладки Правила и Пути. У остальных вкладок есть собственные страницы:

Вкладка Что содержит Подробнее
Правила Общие правила, которые сопоставляются с User-Agent, источником, языком, страной, именем сети и другим Эта страница
Пути Правила, которые сопоставляются с частью запрошенного URL Эта страница
Доверенные боты Поисковые системы и другие краулеры, которые вы пропускаете после проверки их происхождения Доверенные боты и ИИ-краулеры
Список IPv4, Список IPv6 Отдельные адреса и диапазоны адресов Списки IP и прокси
Прокси Сети CDN и прокси, которые могут сообщать настоящий адрес посетителя Списки IP и прокси
ASN Целые сети по их номеру сети Правила по странам и ASN
LLM ИИ-краулеры, которые BotBlocker поддерживает в актуальном состоянии за вас Доверенные боты и ИИ-краулеры
GEO Заблокированные страны Правила по странам и ASN

Все вкладки работают одинаково. Добавить правило открывает диалог для новой записи. Кнопка с карандашом в строке редактирует запись. Вкл/Выкл выключает запись, не удаляя её, поэтому позже вы можете снова её включить. Удалить удаляет её. Экспорт сохраняет список открытой вкладки в файл JSON, а Импорт загружает такой файл. Импорт добавляет только отсутствующие записи, поэтому его можно запускать дважды без дубликатов. Экспортируйте список перед большим изменением. Тогда у вас будет копия, к которой можно вернуться.

Панель рядом с вкладками показывает Быстрое руководство и Обзор таблицы. Обзор считает записи в каждом списке как Активный, Отключён или Внимание. Внимание помечает записи, у которых прошла дата окончания. Они больше никому не соответствуют.

Пять действий

Каждое правило имеет одно из этих действий:

  • Разрешить: посетитель проходит, и BotBlocker прекращает проверять этот запрос. Посетитель также получает куки BotBlocker, поэтому следующие страницы открываются без проверки. Ограничение скорости не считает этот запрос.
  • Серый: BotBlocker помечает посетителя как подозрительного (серый посетитель, которого ещё нужно проверять дальше) и продолжает обычные проверки. Последующие проверки строже для серого посетителя.
  • Тёмный: BotBlocker считает посетителя плохим — ботом или взломщиком — и отправляет его на страницу проверки. Посетитель, который уже прошёл проверку, продолжает без новой. См. Куки и сессии.
  • Блокировать: BotBlocker отказывает в запросе. Посетитель получает страницу блокировки с кодом состояния из раздела Блокировки и ответы.
  • Постоянный бан: то же, что Блокировать, но без даты окончания. BotBlocker сохраняет запись как Блокировать, которая никогда не истекает.

Порядок проверок

BotBlocker не проверяет все списки одновременно. Он проверяет их один за другим, и побеждает первый список, который принимает решение. Порядок такой:

  1. Отпечатки TLS, если он включён. Плохой отпечаток отправляет посетителя на страницу проверки, и никакое правило Разрешить позже в этом списке его не отменяет.
  2. Платёжные колбэки с полным обходом. См. Платёжные колбэки. Частичный обход проходит через списки ниже. Пропускается только страница проверки.
  3. ИИ-краулеры на вкладке LLM.
  4. Краулеры на вкладке Доверенные боты.
  5. Список IPv4 или Список IPv6.
  6. Вкладка ASN.
  7. Вкладка Правила.
  8. Вкладка Пути.
  9. Ограничение скорости, а после него — все автоматические проверки.

Так, Разрешить в списке IP побеждает Блокировать на вкладке «Пути». Внутри одной вкладки решает приоритет. Это число от 1 до 100, и BotBlocker проверяет наименьшее число первым. Давайте узкому, важному правилу низкое число. Давайте широкому запасному правилу высокое число.

Блокировки стран на вкладке GEO отличаются. Они действуют в раннем слое, до того как начинается этот порядок. См. Правила по странам и ASN.

Как сопоставляется правило на вкладке «Правила»

Правило на вкладке Правила сравнивает свои Данные с полным значением посетителя. Это не поиск части текста. Например, правило Агент пользователя с данными curl/8.4.0 сопоставляется с посетителем, у которого User-Agent точно curl/8.4.0. Оно не сопоставляется с curl/8.5.0. Это делает такие правила безопасными, но и узкими. Если вы хотите поймать часть User-Agent, пути или имени краулера, используйте вкладку Пути или вкладку Доверенные боты. Обе они ищут часть текста.

Правила PTR — исключение из правила «полного значения». BotBlocker сравнивает их с последними двумя или тремя частями имени обратного DNS посетителя. Для посетителя из crawl-1.example.com данные example.com сопоставляются.

В свежей установке BotBlocker на этой вкладке уже есть несколько правил Блокировать типа AS-имя. Они блокируют несколько сетей, известных спамом и ботовым трафиком. Вы можете выключить их, если у вас есть причина.

Настройки

У вкладки Правила и вкладки Пути каждая есть собственный диалог. Их поля ниже.

Правила

Эти поля находятся в диалоге Добавить общее правило на вкладке Правила.

Тип

По умолчанию: Агент пользователя

Это то, что BotBlocker сравнивает с Данными. Варианты: Агент пользователя, PTR, Реферер, Язык, URI, HTTP Accept, Страница, AS-имя, AS-номер, Страна, Название скрипта, Яндекс.Метрика ID и ID Google Analytics. Реферер сравнивает имя хоста страницы, которая отправила посетителя. Страна использует двухбуквенный код, например DE. Два аналитических типа сравнивают ID посетителя, который эти инструменты хранят в куки.

Чтобы действовать на целую сеть, вкладка ASN обычно проще, чем типы AS-имя или AS-номер здесь. Она показывает имена сетей из базы данных BotBlocker. См. Правила по странам и ASN.

Приоритет

Позиция правила в порядке проверок, от 1 до 100. BotBlocker проверяет наименьшее число первым, и первое совпадение побеждает. Используйте низкое число для правила, которое должно побеждать другие правила на этой вкладке.

Данные

Значение для сопоставления в формате выбранного Типа. BotBlocker сравнивает его с полным значением посетителя, поэтому копируйте значение точно, например из журнала посетителей в разделе Журналы трафика и аудита. Небольшое различие, например другой номер версии в User-Agent, останавливает сопоставление.

Комментарий

Заметка для вас и для следующего человека, который будет управлять сайтом. Напишите, почему вы добавили правило и где вы увидели проблему. Через месяцы эта заметка скажет вам, всё ещё нужно ли правило.

Правило

По умолчанию: Разрешить

Действие для совпадающего посетителя: Разрешить, Серый, Тёмный, Блокировать или Постоянный бан. Раздел Пять действий объясняет каждое.

Постоянный бан игнорирует поле Истекает. Если вы хотите блокировку, которая заканчивается сама, выберите Блокировать и задайте дату окончания.

Истекает

По умолчанию: через один день

Дата и время, когда правило перестаёт действовать. Вы обязаны заполнить это поле. После этого времени правило больше не сопоставляется, и список помечает его как Внимание. Для правила, которое должно остаться, задайте дату далеко в будущем или выберите Постоянный бан для блокировки.

Пути

Эти поля находятся в диалоге Добавить правило пути на вкладке Пути. У правила пути нет даты окончания. Оно остаётся, пока вы его не выключите или не удалите.

Приоритет

Позиция правила в порядке проверок, от 1 до 100. BotBlocker проверяет наименьшее число первым. Правилу Разрешить для важного пути, например вебхука, нужно низкое число, чтобы более широкое правило пути не победило.

Правило

По умолчанию: Разрешить

Действие для совпадающего пути: Разрешить, Серый, Тёмный, Блокировать или Постоянный бан. На этой вкладке Постоянный бан — то же, что Блокировать, потому что правила пути никогда не истекают.

Правило пути Разрешить пропускает каждого посетителя этого пути, в том числе ботов. BotBlocker пропускает для него ограничение скорости и все последующие проверки. Используйте его для путей колбэков и API, до которых должны добираться машины, а не для обычных страниц.

Правило Блокировать или Тёмный на пути колбэка может сломать платёж или вебхук. См. Платёжные колбэки.

Путь (URL)

По умолчанию: пусто

Часть пути для поиска. BotBlocker ищет этот текст в любом месте запрошенного пути. Он игнорирует верхний и нижний регистр и игнорирует строку запроса (часть после ?). Например, /my-webhook/ сопоставляется с /my-webhook/ и /shop/my-webhook/order. Используйте текст, уникальный для нужной вам страницы. Короткий текст, например /a, сопоставляется со слишком многими страницами.

Комментарий

Заметка о том, зачем существует правило пути, например имя сервиса, который вызывает этот путь.

Когда что-то идёт не так

  • Настоящего посетителя не пропускают, и вы не знаете почему? Откройте журнал посетителей. Он показывает правило, которое приняло решение, например «BLOCK By rule» или «BLOCK by IP rule». См. Журналы трафика и аудита. Затем найдите эту запись на нужной вкладке.
  • Правило не работает? Проверьте, что оно включено и что его дата окончания не прошла. На вкладке Правила проверьте, что Данные — это полное, точное значение. Затем проверьте порядок: список раньше в порядке или правило с более низким приоритетом может победить первым.
  • Платёж или вебхук перестают работать после добавления правила? Посмотрите на вкладке Пути правило Блокировать или Тёмный для этого пути и прочитайте Платёжные колбэки.
  • Сервис перестал работать после удаления правила? Вероятно, это было правило Разрешить. Добавьте его снова с комментарием, затем проверьте сервис.
  • Вы заперли себя снаружи? Воспользуйтесь ссылками восстановления в разделе Секреты аварийного восстановления. Не редактируйте базу данных вручную.