Сигналы обнаружения ботов

Останавливайте простых ботов на входе, прежде чем они начнут отнимать работу у вашего сайта.

Многие боты — дешёвые скрипты. Они не очень стараются выглядеть как браузер. Некоторые вообще не отправляют название браузера. Некоторые не отправляют язык. Некоторые придумывают предыдущую страницу, которая даже не является настоящим веб-адресом. Настоящий браузер никогда не делает таких ошибок, поэтому эти мелкие детали — простой способ поймать ленивую часть бот-трафика.

Панель Обнаружение ботов собирает эти быстрые проверки. Каждая проверка смотрит на одну деталь запроса и отклоняет визит, когда деталь явно неверна. Проверки быстрые, потому что они только читают запрос. Им не нужно, чтобы посетитель сначала выполнил какой-либо код.

Пять из этих проверок включены с самого начала и безопасны для большинства сайтов. Остальные строже. Они принимают решение о политике в отношении вашей аудитории, поэтому включайте их только тогда, когда у вас есть причина.

Настройки обнаружения ботов BotBlocker

Панель Обнаружение ботов. Откройте её через BotBlocker → Настройки → Обнаружение → Обнаружение ботов.

Каждая проверка читает одну деталь запроса

Каждый запрос, который доходит до вашего сайта, несёт несколько стандартных деталей. Эти проверки читают четыре из них:

  • User-Agent: имя, которым браузер называет себя, например «Chrome on Windows».
  • Заголовок Accept-Language: языки, которые предпочитает посетитель.
  • Заголовок Referer: страница, которая отправила посетителя к вам.
  • Имя обратного DNS (запись PTR) IP-адреса посетителя.

Отсутствующая или повреждённая деталь — сильный признак простого скрипта. Нормальная деталь ничего не доказывает, потому что более качественный бот может её скопировать. Поэтому эти проверки — только первый слой. Посетители, которые их проходят, всё равно встречают проверки браузера, ограничение скорости и другие слои защиты.

Неудачная проверка — это отказ, а не вопрос

Большая часть защиты в BotBlocker отправляет сомнительного посетителя на страницу проверки, где настоящий человек может доказать, что он человек. Проверки на этой панели другие. Когда одна из них срабатывает, BotBlocker сразу показывает страницу «Доступ запрещён», и у посетителя нет возможности пройти проверку.

Это нормально для явных ошибок, которых не делает ни один настоящий браузер. Это же причина осторожно относиться к более строгим проверкам. Путешественник, который не проходит проверку языка, не может нажать кнопку, чтобы попасть внутрь.

Каждый отказ записывается в журнал с кодом причины, например «Empty UA» (код 50) или «Black UA» (код 54). Откройте BotBlocker → Журнал, чтобы увидеть, какая проверка отклонила посетителя. См. Журнал и отчёты.

Она работает вместе с другими возможностями

  • Доверенные боты и правила разрешения идут первыми. Поисковые системы, разрешённые IP-адреса и ваши собственные сессии администратора обрабатываются раньше этих проверок. Поэтому здешняя проверка не отклоняет ни Googlebot, ни вас. См. Доверенные боты и Списки IP.
  • Режим встроенного браузера может смягчить три проверки. Когда посетитель нажимает на вашу ссылку в приложении, например в Instagram, приложение открывает страницу в собственном встроенном браузере. Такой браузер может не пройти проверки языка, реферера и «поддельного бота». Режим встроенного браузера отправляет этих посетителей на страницу проверки вместо страницы отказа.
  • Анализ поведения ловит то, что пропускают эти проверки. Бот с идеальными заголовками всё равно может вести себя как машина. Аддон Анализ поведения следит за тем, как посетитель перемещается по вашему сайту.
  • Сетевые правила находятся в другом месте. Проверки прокси, IPv6, Cloudflare и хостинга — на странице Типы сетевых подключений.

Настройки

На панели три группы. В Простое обнаружение ботов входят базовые проверки заголовков. В Настройки PTR входит проверка обратного DNS. В Дополнительные настройки входят проверки политики.

Простое обнаружение ботов

Эти проверки ловят скрипты, которые не копируют полноценный браузер. Большинство из них включены по умолчанию.

Пустой User-Agent

По умолчанию: Вкл.

Отклоняет запрос, в котором нет User-Agent или User-Agent которого состоит только из пробелов или управляющих символов. Каждый нормальный браузер отправляет его, поэтому эта проверка почти никогда не затрагивает настоящих людей.

Обычные пострадавшие — ваши собственные инструменты: мониторинг доступности, команда curl или собственный скрипт, которому вы забыли дать имя. Если один из ваших сервисов перестал работать после установки BotBlocker, поищите код 50 («Empty UA») в журнале. Лучшее решение — дать инструменту User-Agent или добавить его IP-адрес в правило разрешения. Выключайте проверку только если не можете сделать ни того, ни другого.

User-Agent аномалии

По умолчанию: Вкл.

Сравнивает User-Agent со встроенным списком сигнатур ботов и инструментов BotBlocker. В список входят распространённые библиотеки для скрейпинга, клиенты командной строки и инструменты антидетекта. Когда User-Agent совпадает, запрос отклоняется с кодом 54 («Black UA»).

Эта проверка ловит большую часть простого бот-трафика, поэтому оставьте её включённой. Если она отклоняет инструмент, которому вы доверяете, разрешите этот инструмент по его IP-адресу вместо выключения всей проверки. Учтите, что Режим встроенного браузера никогда не спасает код 54.

Пустой Accept-Language

По умолчанию: Вкл.

Отклоняет запрос, который не отправляет языковых предпочтений или отправляет предпочтение, которое BotBlocker не может прочитать как двухбуквенный код языка. Нормальные браузеры всегда отправляют этот заголовок. Многие простые скрипты — нет.

Некоторые инструменты приватности намеренно удаляют этот заголовок, например Tor Browser в самом безопасном режиме. Если эта аудитория для вас важна, у вас два варианта:

  • Оставить эту проверку включённой. Посетители без языка отклоняются (код 52).
  • Выключить её и использовать следующую настройку. Посетители без языка вместо этого попадают на страницу проверки. Там они либо проходят, либо решают задание.

Разрешить пустой Accept-Language при верификации

По умолчанию: Выкл.

Управляет тем, что происходит на странице проверки с посетителем, который не отправляет язык. Когда она выключена, отсутствующий язык заставляет автоматическую проверку не пройти, поэтому посетитель обязан решить задание. Когда она включена, одного отсутствующего языка недостаточно, чтобы проверка не прошла, и страница проверки показывает язык сайта по умолчанию.

Эта настройка имеет значение, только когда Пустой Accept-Language выключен. Когда та проверка включена, посетитель без языка отклоняется до того, как дойдёт до страницы проверки.

  • Вкл.: посетители, заботящиеся о приватности, могут пройти проверку, как все остальные.
  • Выкл.: они всё ещё могут попасть внутрь, но только после задания.

Поддельный реферер

По умолчанию: Вкл.

Отклоняет запрос, чей Referer не является действительным веб-адресом, например значение без части https:// или без имени хоста. Скрипты часто заполняют этот заголовок случайным текстом. Настоящий браузер отправляет полный адрес или ничего.

Отсутствующий Referer — это нормально. Настройки приватности и многие приложения удаляют его, и BotBlocker не отклоняет визит из-за этого. Учитывается только повреждённое значение, и только для посетителей, которых BotBlocker ещё не классифицировал.

Оставьте её включённой. Если партнёрский сервис или приложение отправляет странный Referer, вы увидите код 58 в журнале. Встроенные браузеры — обычный случай, и Режим встроенного браузера может их спасти.

Скрыть перечисление пользователей

По умолчанию: Вкл.

Скрывает публичный список пользователей от посетителей, которые не могут управлять пользователями. Без этого /wp-json/wp/v2/users и ?author=1 отвечают вашими логинами, а это первый шаг многих атак на пароли.

  • Вкл.: список пользователей в REST, архивы авторов, фиды авторов, карта сайта пользователей и поля автора в oEmbed отвечают только администраторам и другим ролям, которые могут перечислять пользователей.
  • Выкл.: поведение WordPress по умолчанию.

Выключайте только если плагину или публичной странице автора нужен анонимный доступ к списку пользователей.

Скрыть версию PHP

По умолчанию: Вкл.

Удаляет заголовок X-Powered-By с вашей версией PHP. Известная версия PHP упрощает подбор эксплойта. Также задайте expose_php = Off на сервере; заголовок — не единственное место, где может появиться версия.

Настройки PTR

Аномалии PTR/DNS

По умолчанию: Выкл.

Отклоняет визит, когда имя обратного DNS IP-адреса существует, но ему нельзя доверять (код 60): имя само является IP-адресом, не является валидным именем хоста, либо прямой A/AAAA-запись этого имени не указывает обратно на адрес посетителя.

Отсутствие обратного имени не считается аномалией и никогда не блокирует. У обычных домашних и мобильных подключений часто нет обратного имени, как и у дешёвых облачных машин. Проверка по умолчанию выключена; включайте её только после того, как ваш журнал покажет, что большая часть трафика с несовпадающим обратным именем нежелательна. Как работает поиск и его кеш, объясняется в разделе Кеш обратного DNS.

Режим встроенного браузера никогда не спасает код 60.

Дополнительные настройки

Эти проверки отклоняют посетителей по политике, а не по доказательствам того, что это бот. Прочитайте каждую, прежде чем включать её.

Несоответствие Geo IP и языка

По умолчанию: Выкл.

Сравнивает первый язык посетителя со страной его IP-адреса. У BotBlocker есть карта языков, обычных для каждой страны. Если языка нет в списке для этой страны, посетитель отклоняется (код 57).

Это вредит настоящим людям. Француз в отпуске в Испании, экспат, человек в VPN или телефон с английским языком в Германии — все они её не проходят. Используйте её только если ваш сайт обслуживает одну страну и вы принимаете такие потери. Режим встроенного браузера может спасти посетителей из приложений, которые её не проходят.

Белый список превью WhatsApp

По умолчанию: Выкл.

Когда кто-то делится вашей ссылкой в WhatsApp, WhatsApp заходит на страницу, чтобы построить карточку предпросмотра. По умолчанию этот визит проходит обычные проверки, и предпросмотр может не сработать.

Когда вы это включаете, BotBlocker пропускает запрос как доверенного бота, если его User-Agent имеет настоящий формат WhatsApp (WhatsApp/, за которым следует номер версии из четырёх частей). Запрос, который только говорит «WhatsApp» без этого формата, отклоняется как поддельный бот (код 7).

Знайте цену. Кто угодно может скопировать User-Agent WhatsApp, и это разрешение действует на всём сайте. Включайте его только когда предпросмотр ссылок в WhatsApp действительно важен для вас.

Заблокировать RKN

По умолчанию: Выкл.

Отклоняет IP-адреса из списка RKN (код 62). RKN — российское государственное ведомство, которое контролирует интернет-контент. В списке содержатся адреса, связанные с этим ведомством. BotBlocker скачивает список, когда вы впервые включаете эту настройку.

Это выбор политики, а не обнаружение ботов. Используйте его, если не хотите, чтобы это ведомство видело ваш сайт. В остальных случаях оставьте выключенным.

В той же группе есть Разрешить предполётную проверку OPTIONS (по умолчанию: включено). Это не проверка обнаружения. Она объясняется в разделе Ответы и доступ к API.

Когда что-то идёт не так

  • Ваш мониторинг, Cron-сервис или скрипт отклонён. Поищите код 50 или 54 в BotBlocker → Журнал. Дайте инструменту User-Agent или разрешите его IP-адрес в разделе Списки IP.
  • Посетители, которые открывают вашу ссылку внутри приложения (например, нажатую ссылку в Instagram или Facebook), отклоняются. Эти приложения показывают страницу в собственном встроенном браузере, который выглядит для BotBlocker необычно. Поищите в журнале коды 7, 57 или 58. Затем включите Режим встроенного браузера.
  • Путешественники или пользователи VPN жалуются. Выключите Несоответствие Geo IP и языка.
  • Пользователи браузеров для приватности жалуются. Выключите Пустой Accept-Language и включите Разрешить пустой Accept-Language при верификации.
  • WhatsApp не показывает предпросмотр ваших ссылок. Включите Белый список превью WhatsApp и сначала прочитайте его предупреждение.
  • Многие не связанные между собой посетители отклоняются. Сначала найдите код причины в журнале. Причина часто в сетевом правиле на странице Типы сетевых подключений или в проверке браузера на странице Проверки браузера, а не на этой панели.