Анализ поведения

Остановите ботов, которые ведут себя почти как люди, и останавливайте их быстрее с каждым их возвращением.

Ограничение скорости останавливает посетителей, которые прямо сейчас слишком быстрые. Но у него короткая память. Когда всплеск заканчивается, оно забывает. Терпеливый бот может подождать, вернуться и попробовать снова столько раз, сколько захочет.

Этот аддон помнит. Он хранит запись о каждом посетителе, который вызвал проблемы, часами или днями. Когда этот посетитель возвращается, BotBlocker даёт ему гораздо меньше свободы и останавливает его гораздо раньше, чем в первый раз. Посетитель, который ведёт себя хорошо, постепенно снова получает чистую запись.

Он также ловит осторожных ботов, которые никогда не превышают ваши ограничения скорости. Человек читает, кликает и приходит по ссылкам. Бот открывает страницу за страницей, в ровном темпе, и никогда ниоткуда не приходит. Аддон видит эту разницу.

Настройки анализа поведения BotBlocker

Панель Движок поведенческого анализа. Откройте её через BotBlocker → Аддоны.

Как это работает

1. Он следит только за занятыми посетителями. Обычный читатель, который открывает несколько страниц, никогда не проверяется. Аддон начинает следить за посетителем, только когда тот приближается к вашим ограничениям скорости. Посетители, которые уже прошли проверку, пропускаются, потому что они доказали, что они люди.

2. Он смотрит, как ведёт себя посетитель. Для занятого посетителя аддон задаёт несколько вопросов. Как быстро он открывает страницы? Открывает ли он каждую страницу только один раз, как инструмент копирования? Слишком ли ровный у него ритм для человека? Приходит ли он когда-нибудь по ссылке? Чем больше ответов указывают на бота, тем выше его скор.

3. Он действует по скору. Низкий скор ничего не меняет. Средний скор показывает проверку, и настоящий человек проходит её и продолжает. Высокий скор блокирует посетителя на короткое время. Каждую блокировку вы можете увидеть в своих правилах IP, с пометкой «Behavioral Engine Block», и удалить её там.

4. Он помнит. Каждый посетитель, который был заблокирован или подошёл близко, получает штраф. В следующий раз ему нужен гораздо более низкий скор, чтобы получить проверку или блокировку. BotBlocker хранит штраф для адреса, а также для его сети (группы близких адресов), потому что боты часто перепрыгивают между адресами в одной сети. Сетям прощают быстрее, потому что многие невиновные люди могут делить одну сеть.

5. Он прощает. Когда посетитель ведёт себя тихо, штраф снижается шаг за шагом. Со значениями по умолчанию заблокированный адрес снова получает чистую запись примерно через 4 дня. Если вы удалите его правило блокировки, запись удаляется сразу.

Этот аддон работает вместе с ограничением скорости, поэтому ограничение скорости должно быть включено. Он только добавляет и изменяет свои собственные правила блокировки и никогда не трогает правила, которые создали вы.

Выбор набора настроек

Внизу панели вы можете применить готовый набор значений одним кликом:

  • Лёгкий: более мягкий. Меньше настоящих людей получают проверку.
  • Сильный: сбалансированный. Это значение по умолчанию, и он подходит большинству сайтов.
  • Полный: самый строгий. Более низкие скоры вызывают проверку или блокировку, а блокировки длятся 1 час.

Начните с Сильного. Перейдите на Полный, если боты всё ещё проходят, или на Лёгкий, если жалуются настоящие люди.

Настройки

Готовые значения хорошо работают для большинства сайтов. Меняйте настройку, только когда знаете, какую проблему хотите исправить. Каждая настройка ниже рассказывает, что происходит, когда вы делаете число выше или ниже.

Скоринг

Эти настройки управляют тем, как аддон оценивает занятого посетителя прямо сейчас. Он добавляет очки за 5 признаков в последние несколько минут визита (Временное окно):

Признак Что измеряет До
Скорость в минуту Запросы в минуту по сравнению с Макс. порог RPM 40
Много разных страниц Сколько разных адресов он открывает 20
Скорость в час Запросы в час по сравнению с Макс. порог RPH 15
Идеальный ритм Насколько ровные промежутки между запросами 15
Нет реферера Запросы без реферера (страница, с которой он пришёл) 10

Очки складываются в скор от 0 до 100. При Пороге скора Captcha (50) посетитель получает проверку. При Пороге скора блокировки (75) он блокируется на Время блокировки.

Включить поведенческий анализ

По умолчанию: Включено после активации

Главный переключатель аддона. Он заблокирован, пока ограничение скорости не включено.

Порог скора Captcha

По умолчанию: 50 очков

Скор, при котором посетитель обязан доказать, что он человек. Он видит проверку, и если проходит её, продолжает как обычно.

  • Меньшее число: строже. Больше посетителей видят проверку, и некоторые из них — настоящие люди.
  • Большее число: мягче. Меньше проверок, но некоторые осторожные боты проходят.

Будьте осторожны с числами ниже 35. Быстрый читатель с множеством открытых вкладок может достичь их, ничего не нарушая.

Порог скора блокировки

По умолчанию: 75 очков

Скор, при котором посетитель блокируется сразу, без проверки.

Держите чёткий разрыв с порогом Captcha, например 25 очков. Тогда посетитель, который выглядит немного подозрительно, сначала получает проверку, и только явно роботизированные посетители блокируются. Если два числа слишком близки, настоящие люди могут быть заблокированы раньше, чем получат шанс доказать, что они люди.

Макс. порог RPM

По умолчанию: 30 запросов в минуту

RPM означает запросы в минуту. Это ваше представление о том, «как быстро двигается настоящий человек». Посетитель на этой скорости получает все 40 очков за скорость. Посетитель на половине этой скорости получает 20 очков.

  • Меньшее число: быстрые посетители набирают очки раньше.
  • Большее число: используйте его, если ваши посетители часто очень быстрые, например в магазине, где люди быстро кликают по фильтрам.

Макс. порог RPH

По умолчанию: 200 запросов в час

RPH означает запросы в час. Та же идея, что и Макс. RPM, но за более долгое время. Он ловит медленного скрапера, который делает всего 3 запроса в минуту, но никогда не останавливается. Посетитель на этом числе получает все 15 очков за этот признак.

Временное окно

По умолчанию: 10 минут

Сколько недавней истории аддон просматривает, когда оценивает посетителя.

  • Короткое окно: быстро реагирует на внезапное изменение, но и быстро забывает.
  • Длинное окно: лучше видит медленного бота, но настоящий человек, который был занят минуту, дольше сохраняет очки.

Это не долговременная память. Это Слой репутации ниже.

Время блокировки

По умолчанию: 900 секунд (15 минут)

Как долго заблокированный адрес остаётся заблокированным. Когда время заканчивается, правило блокировки исчезает само. Но адрес сохраняет свой уровень штрафа, поэтому, если он вернётся и снова начнёт плохо себя вести, его остановят гораздо раньше.

Короткой блокировки обычно достаточно. Долговременная защита исходит от Слоя репутации, а не от долгой блокировки.

Множитель прокси

По умолчанию: 1.15

Даёт больше свободы посетителям, которые приходят через прокси или VPN. Прокси или VPN — это сервис, который скрывает настоящий адрес посетителя. Многие настоящие люди используют его для приватности, и многие люди могут делить один адрес прокси. Поэтому их трафик может выглядеть более занятым, чем он есть.

BotBlocker умножает оба порога на это число для них. При 1.15 прокси-посетителю нужно около 58 очков для проверки вместо 50 и около 87 очков для блокировки вместо 75.

  • 1.00: относиться к прокси-посетителям как ко всем остальным.
  • Большее число: больше свободы для прокси-посетителей.

Порог сбора

По умолчанию: 0.35

Насколько занятым должен быть посетитель, прежде чем аддон начнёт за ним следить. Тихие посетители никогда не оцениваются, поэтому они ничего не стоят вашему сайту.

Число — это часть Порога блокировки в ограничении скорости. Например, если ограничение скорости блокирует при 40 запросах в минуту, 0.35 означает, что аддон начинает следить за посетителем при 14 запросах в минуту.

  • Меньшее число: аддон следит за большим числом посетителей.
  • Большее число: аддон следит только за самыми занятыми посетителями.

Слой репутации

Эти настройки управляют памятью: как долго BotBlocker помнит нарушителя и как быстро он его прощает. См. шаги 4 и 5 в разделе Как это работает.

Каждый адрес и каждая сеть получает уровень штрафа от 0 (чистый) до Макс. уровень (6). Посетитель, который заблокирован этим аддоном или ограничением скорости, сразу получает самый высокий уровень. Посетитель, который быстрый, но не заблокирован, получает более низкий уровень (см. Пороги уровней).

Более высокий уровень снижает скор, необходимый для проверки или блокировки. На уровне 0 посетителю нужно 75 очков для блокировки. На уровне 3 достаточно примерно половины (38 очков). На самом высоком уровне остаётся только минимум. Пороги никогда не опускаются ниже Минимума % ограничения скорости.

Уровень снижается на 1 после каждого тихого периода (Интервал затухания IP, Интервал затухания подсети). Например, адрес, заблокированный в понедельник в 10:00 на 15 минут, получает уровень 6. Отсчёт начинается, когда блокировка заканчивается. При 16 часах на уровень он находится на уровне 5 во вторник в 02:15 и снова на уровне 0 примерно через 4 дня. Если он снова начнёт плохо себя вести, его уровень снова растёт.

Включить репутацию

По умолчанию: Включено после активации

Включает долговременную память. Когда она выключена, BotBlocker судит каждого посетителя только по последним нескольким минутам, и бот, который возвращается после блокировки, начинает с чистой записи.

Оставьте её включённой. Это главная причина использовать этот аддон.

Макс. возраст IP

По умолчанию: 7 дней

Самое долгое время, в течение которого BotBlocker хранит запись об одном адресе. После этого времени запись удаляется, даже если уровень штрафа не вернулся к 0.

Обычно запись возвращается к 0 раньше из-за затухания ниже. Эта настройка — предел безопасности, чтобы старые записи не оставались навсегда.

Интервал затухания IP

По умолчанию: 16 часов

Как долго адрес должен оставаться тихим, прежде чем BotBlocker снизит его штраф на один уровень. Это скорость «прощения».

При 16 часах заблокированному адресу (уровень 6) нужно 6 × 16 = 96 часов, около 4 дней хорошего поведения, чтобы снова получить чистую запись.

  • Короткий интервал: BotBlocker прощает быстрее. Хорошо, если настоящих людей часто ловят.
  • Длинный интервал: BotBlocker помнит дольше. Хорошо, если одни и те же боты возвращаются снова и снова.

Макс. возраст подсети

По умолчанию: 2 дня

То же, что и Макс. возраст IP, но для диапазона сети. Диапазон сети (подсеть) — это группа близких адресов, например все адреса одного офиса или одного мобильного провайдера.

BotBlocker следит за диапазонами, потому что боты часто меняют свой адрес внутри одного диапазона. Но многие невиновные люди тоже могут делить диапазон. Поэтому держите это короче, чем Макс. возраст IP.

Интервал затухания подсети

По умолчанию: 4 часа

То же, что и Интервал затухания IP, но для диапазона сети. При 4 часах диапазон на уровне 6 снова чист после 24 тихих часов. Он короткий намеренно, чтобы один бот надолго не вредил целому офису или мобильной сети.

Макс. уровень

По умолчанию: 6 уровней

Число уровней штрафа. Самый высокий уровень всегда достаётся заблокированным посетителям, и он почти полностью лишает их снисхождения.

Больше уровней делают каждый шаг меньше, а затухание — дольше. Менять это нужно редко.

Пороги уровней

По умолчанию: 5 строк, от 0.35:1 до 1.15:5

Определяет, какой уровень штрафа получает быстрый посетитель, даже когда он не заблокирован. Каждая строка — это пара: скорость и уровень. Скорость — часть Макс. RPM.

Со значениями по умолчанию и Макс. RPM 30:

Строка Значение
0.35:1 11 или больше запросов в минуту даёт уровень 1
0.55:2 17 или больше даёт уровень 2
0.75:3 23 или больше даёт уровень 3
0.95:4 29 или больше даёт уровень 4
1.15:5 35 или больше даёт уровень 5

Уровень 6 не входит в этот список. Только блокировка даёт уровень 6.

Это самая техническая настройка здесь. Сохраните копию, прежде чем менять её. Если что-то пойдёт не так, примените набор настроек, чтобы вернуть хорошие значения.

Когда настоящих людей ловят

Занятые люди могут выглядеть как боты. Кто-то с множеством вкладок, разработчик, перезагружающий страницу, или служба мониторинга могут набрать очки. Когда вы смотрите на жалобу, ищите «Behavioral Engine» как причину.

  • Настоящие посетители видят проверку слишком часто? Повысьте Порог скора Captcha или примените набор Лёгкий.
  • Один адрес заблокирован по ошибке? Удалите его правило «Behavioral Engine Block» в своих правилах IP. Это также очистит его репутацию.
  • Жалуется один офис или школа? Понизьте Макс. возраст подсети. Не выключайте весь аддон.
  • Ваш мониторинг доступности блокируется? Добавьте его адрес в свои правила разрешения.
  • Переключатель включения заблокирован? Сначала включите ограничение скорости. Воспользуйтесь ссылкой в предупреждении на панели.