Обмеження швидкості

Сповільніть відвідувачів, які рухаються швидше, ніж будь-яка людина встигає читати.

Людина відкриває сторінку, читає її, потім натискає наступне посилання. Скрапер, скрипт для вгадування паролів або інструмент для спаму не читає. Він надсилає запит за запитом так швидко, як відповідає ваш сервер. Цей швидкий трафік копіює ваш контент, забиває ваші форми сміттям і витрачає потужність сервера, потрібну справжнім відвідувачам.

Обмеження швидкості — це обмежувач швидкості для вашого сайту. BotBlocker рахує, скільки запитів надсилає кожен відвідувач за останні кілька хвилин. Коли відвідувач рухається занадто швидко, BotBlocker спершу показує перевірку. Коли він рухається значно занадто швидко, BotBlocker блокує адресу на кілька хвилин. Справжні люди майже ніколи не сягають цих меж, тож не бачать різниці. Швидкі боти зупиняються на межі.

Обмеження також працює проти ботів, які розподіляють запити між багатьма адресами. З Агрегацією підмереж BotBlocker дивиться на всю групу сусідніх адрес разом, тож ботнет не може сховатися, роблячи кожну адресу трохи повільнішою.

Налаштування обмеження швидкості BotBlocker

Панель Обмеження швидкості. Відкрийте її через BotBlocker → Налаштування → Трафік → Обмеження швидкості.

Швидкість міряють у запитах за хвилину

BotBlocker тримає короткий запис для кожної адреси: скільки запитів вона надіслала в кожній хвилині Вікна. Початкове вікно — 5 хвилин. Щоб отримати швидкість, BotBlocker додає всі запити у вікні й ділить суму на довжину вікна. Результат — RPM, запити за хвилину.

Приклад із початковими значеннями:

  1. Відвідувач надсилає 120 запитів за останні 5 хвилин. Швидкість 120 ÷ 5 = 24 RPM. Це нижче за Поріг Captcha (30 RPM), тож нічого не відбувається.
  2. Відвідувач продовжує й сягає 150 запитів за 5 хвилин. Швидкість 30 RPM. Тепер відвідувач отримує перевірку.
  3. Бот ігнорує перевірку й сягає 250 запитів за 5 хвилин. Швидкість 50 RPM. Це Поріг блокування, тож BotBlocker блокує адресу.

Оскільки вікно щохвилини зсувається вперед, старі запити випадають із підрахунку. Відвідувач, який сповільнився, повертається під межу без жодних дій з вашого боку.

Кого не рахують

Обмеження швидкості працює після інших правил дозволу, тож не торкається трафіку, якому BotBlocker уже довіряє:

  • Відвідувачі, які пройшли перевірку. Їх теж рахують, але за окремою, вищою межею. Справжня людина, яка розв’язала одну перевірку, може швидко працювати далі, а скрипт, що зберігає cookie, не може залити сайт запитами. Про те, скільки діє cookie, читайте в Cookie та сесіях.
  • Дозволені адреси й добрі боти. Адреси у вашому білому списку, підтверджені пошукові системи й відомі ШІ-краулери обробляють до обмеження швидкості. Читайте Списки IP і Сигнали виявлення ботів.
  • Ваш власний сервер і користувачі з обходом. Внутрішні запити сайту й обхід для адміністратора в розділі Де застосовується захист пропускають перевірки.

Що відбувається, коли відвідувач сягає межі

На Порозі Captcha BotBlocker показує свою сторінку перевірки. Справжня людина проходить її й продовжує. Після цього відвідувача рахують за межами для тих, хто пройшов перевірку, а вони вищі.

На Порозі блокування BotBlocker відмовляє в запиті з кодом стану 429 Too Many Requests. Він також додає тимчасове правило блокування для адреси у ваші правила IP із нотаткою Rate Limit Block. Правило закінчується після Часу блокування (10 хвилин за замовчуванням). Якщо та сама адреса повертається, поки правило чинне, BotBlocker продовжує те саме правило. Він не створює нового.

Ці правила видно у ваших списках IP. Якщо ви помилково заблокували справжню людину, видаліть правило там, і адреса зможе повернутися одразу. Читайте Списки IP.

Обмеження бачить і цілі мережі

Просте обмеження швидкості для кожної адреси має слабке місце. Ботнет може надсилати запити з 20 адрес у тому самому діапазоні. Кожна адреса лишається повільною, тож жодна не сягає межі.

Агрегація підмереж виправляє це. BotBlocker також рахує запити всієї групи сусідніх адрес (підмережі). Початкова група — діапазон /24 для IPv4 (256 адрес) і діапазон /64 для IPv6. Коли вся група завантажена, BotBlocker знижує межі для кожної адреси в ній.

Ось як це працює з початковими значеннями:

  • Межа групи — Поріг блокування × Множник підмережі: 50 × 3 = 150 RPM для всієї підмережі.
  • Поки підмережа далеко нижче 150 RPM, звичайні межі майже не змінюються.
  • Коли підмережа надсилає 75 RPM (половину своєї межі), кожну адресу в ній блокують приблизно на 37 RPM замість 50, а перевірку вона отримує приблизно на 22 RPM замість 30.
  • Коли підмережа сягає 150 RPM, межі падають до найнижчої точки. Нею керує Мінімальний %: 10 % від 50 = 5 RPM для блокування й половина цього для перевірки.

Тиск спершу зростає повільно, а біля межі групи — швидко. Тож звичайний офіс із кількома зайнятими людьми його не відчує. А ботнет, який заливає сайт з одного діапазону, відчує.

Працює разом з аналізом поведінки

Обмеження швидкості бачить лише швидкість і забуває відвідувача після кінця вікна. Аддон Аналіз поведінки будується на тому самому лічильнику запитів. Він дає кожному зайнятому відвідувачу оцінку схожості на бота й пам’ятає повторних порушників годинами чи днями. Адреса, яку заблокували тут, наступного разу отримує нижчу межу.

Аддон потребує обмеження швидкості. Якщо Увімкнути обмеження швидкості вимкнено, аддон не можна ввімкнути. Панель Обмеження швидкості показує нотатку про аддон із посиланням на його налаштування або на список аддонів.

Обмеження швидкості також відрізняється від Запитів на одного користувача у розділі Де застосовується захист. Запити на одного користувача рахують перегляди сторінок для кожного відвідувача за день. Обмеження швидкості рахує швидкість за останні кілька хвилин.

Налаштування

Початкові значення підходять більшості сайтів. Змінюйте їх, коли ваші звіти показують явну проблему: справжні відвідувачі отримують перевірки або швидкі боти все ж проходять. Змінюйте по одному значенню за раз і день стежте за результатом.

Обмеження швидкості

Ці налаштування задають межу швидкості для кожної адреси.

Увімкнути обмеження швидкості

За замовчуванням: Увімкнено

Вмикає або вимикає обмежувач швидкості. Коли він вимкнений, інші значення на цій панелі нічого не роблять, і аддон Аналіз поведінки не може працювати.

  • Увімкнено: BotBlocker рахує запити й реагує на порогах.
  • Вимкнено: межі швидкості немає. Інший захист працює як раніше.

Тримайте його ввімкненим. Вимикайте лише на короткий тест, наприклад коли хочете з’ясувати, чи спричиняє обмеження швидкості проблему, яку ви бачите.

Поріг Captcha

За замовчуванням: 30 rpm

Швидкість, на якій відвідувач отримує перевірку. Це м’яка реакція: справжня людина проходить перевірку й продовжує. На 30 RPM із 5-хвилинним вікном відвідувач має надіслати 150 запитів за 5 хвилин, щоб побачити перевірку.

  • Нижче число: боти натрапляють на перевірку раніше. Швидкі справжні користувачі, наприклад у магазині з багатьма фільтрами товарів, також можуть її побачити.
  • Вище число: менше справжніх людей бачать перевірку, але повільні боти пропускають більше запитів.

Тримайте його нижче за Поріг блокування. Якщо обидва мають однакове значення, відвідувачів блокують без шансу довести, що вони люди.

Поріг блокування

За замовчуванням: 50 rpm

Швидкість, на якій BotBlocker блокує адресу на Час блокування. Перевірки в цій точці немає. Відвідувач отримує відповідь 429 і тимчасове правило у ваших списках IP. Це значення також основа для меж підмережі нижче.

  • Нижче число: ботів блокують раніше. Ризик заблокувати швидкого справжнього користувача зростає.
  • Вище число: більше місця для завантажених сторінок і швидких користувачів. Бот, який ігнорує сторінку перевірки, може надіслати більше запитів до блокування.

Тримайте чіткий розрив із Порогом Captcha, щоб справжні люди спершу натрапляли на перевірку.

Поріг блокування для тих, хто пройшов перевірку

За замовчуванням: 300 rpm

Швидкість, на якій блокують відвідувача, який уже пройшов перевірку. Тих, хто пройшов, теж рахують; ця межа вища, щоб звичайний перегляд сайту ніколи не переривався. Вона ніколи не опускається нижче Порогу блокування.

Поріг Captcha для тих, хто пройшов перевірку

За замовчуванням: 150 rpm

Швидкість, на якій відвідувач, що пройшов перевірку, знову бачить сторінку перевірки. Тримайте її нижче порогу блокування для тих, хто пройшов, і вище звичайного Порогу Captcha.

Час блокування

За замовчуванням: 600 секунд (10 хвилин)

Скільки заблокована адреса лишається заблокованою. Коли час спливає, правило теж закінчується.

  • Коротший час: помилка закінчується раніше. Використовуйте короткий час, поки налаштовуєте пороги.
  • Довший час: бот, який повертається одразу після блокування, лишається зовні довше.

Будьте обережні з довгими часами в спільних мережах. Один поганий пристрій в офісі або в мобільній мережі може заблокувати всіх за тією самою адресою. Для довгої пам’яті про поганих відвідувачів використовуйте аддон Аналіз поведінки замість дуже довгого часу блокування.

Вікно

За замовчуванням: 5 хвилин

Скільки останніх хвилин BotBlocker бере для вимірювання швидкості. Швидкість — це завжди загальна кількість запитів у вікні, поділена на його довжину.

  • Коротше вікно: BotBlocker швидко реагує на раптовий сплеск. Але людина, яка за одну хвилину відкриває багато сторінок, теж може сягнути межі.
  • Довше вікно: короткі сплески усереднюються й прощаються. Повільного й рівного бота все одно зловлять, але це триває довше.

Наприклад, із 1-хвилинним вікном 30 запитів за хвилину спричиняють перевірку. Із 5-хвилинним вікном ті самі 30 запитів дають лише 6 RPM.

Агрегація підмереж

Ці налаштування рахують групу сусідніх адрес разом. Вони ловлять ботнети, які розподіляють запити між багатьма адресами.

Агрегація підмереж

За замовчуванням: Увімкнено

Додає швидкість усієї підмережі до розрахунку. Коли підмережа завантажена, межі для кожної адреси в ній знижуються. Сайти, оновлені зі старої версії BotBlocker, можуть мати цей перемикач вимкненим, тож перевірте його.

  • Увімкнено: BotBlocker ловить розподілений трафік, який тримається нижче межі на кожній адресі.
  • Вимкнено: кожну адресу міряють окремо. Ботнет, який розподіляє запити, може пройти.

Якщо справжній офіс, школа або мобільна мережа отримує перевірки, хоч кожна людина поводиться нормально, спершу підвищте Множник підмережі. Вимикайте агрегацію, лише якщо це не допомогло.

Множник підмережі

За замовчуванням: 3

Скільки трафіку може надіслати ціла підмережа, перш ніж її межі знизяться. Межа групи — Поріг блокування × це число. З початковими значеннями 50 × 3 = 150 RPM для всієї підмережі.

  • Нижче число: межі знижуються раніше. BotBlocker ловить малі ботнети, але завантажені спільні мережі це теж відчують.
  • Вище число: більше місця для офісів, шкіл і мобільних мереж із багатьма справжніми людьми.

Мінімальний %

За замовчуванням: 10%

Найнижча точка, до якої можуть упасти межі під тиском підмережі, як частина Порогу блокування. З початковими значеннями межа блокування ніколи не опускається нижче 5 RPM (10 % від 50), а межа перевірки ніколи не опускається нижче 2.5 RPM. Це гарантує, що справжня людина в завантаженій мережі завжди має трохи місця.

  • Нижче число: суворіше. У залитій підмережі майже кожен запит спричиняє перевірку або блокування.
  • Вище число: більше місця для справжніх людей у залитій підмережі, але й для ботів у ній.

Аддон Аналіз поведінки використовує той самий мінімум для своїх рівнів штрафу.

Маска підмережі

За замовчуванням: /24 – /64 (standard)

Розмір підмережі. Перше число для адрес IPv4, друге — для IPv6. Докладніше про нотацію CIDR читайте, якщо хочете подробиць. Ви можете вибрати один із п’яти розмірів:

  • /28 – /64 (мала підмережа): 16 адрес IPv4. Менше невинних сусідів ділять межу, але ботнет у ширшому діапазоні важче помітити.
  • /24 – /64 (стандартна): 256 адрес IPv4 або одна звичайна мережа IPv6. Це підходить більшості сайтів.
  • /20 – /64 (великий діапазон провайдера): 4096 адрес IPv4. Ботнет, розкиданий по великому діапазону провайдера, легше помітити, але більше невинних сусідів ділять межу.
  • IPv6 /56 (сайт клієнта провайдера): групує відвідувачів IPv6 за /56, розміром, який багато провайдерів дають одному сайту клієнта. Відвідувачів IPv4 групують за /24.
  • IPv6 /48 (великий блок): групує відвідувачів IPv6 за /48, великий блок для цілої організації. Відвідувачів IPv4 групують за /24.

Коли щось іде не так

  • Справжні відвідувачі бачать перевірку під час перегляду? Подивіться, які сторінки вони відкривали. Магазини, сторінки пошуку й сторінки з багатьма зображеннями надсилають багато запитів. Трохи підвищте Поріг Captcha або візьміть довше Вікно.
  • Цілий офіс, школа або мобільна мережа отримує перевірки чи блокування? Підвищте Множник підмережі або виберіть меншу Маску підмережі. Вимикайте Агрегацію підмереж лише як останній крок.
  • Справжню людину блокують просто зараз? Відкрийте Списки IP і видаліть правило з нотаткою Rate Limit Block для цієї адреси.
  • Відвідувачів блокують, і вони не бачать перевірки? Переконайтеся, що Поріг блокування явно вищий за Поріг Captcha.
  • Швидкі боти все ще проходять? Трохи знизьте Поріг Captcha і перевірте, чи Агрегація підмереж увімкнена. Для ботів, які повертаються знову й знову, додайте аддон Аналіз поведінки.
  • Інтеграція або монітор перестає працювати? Деякі сервіси надсилають багато запитів з однієї адреси. Додайте адресу сервісу в білий список у Списках IP. Також прочитайте Відповіді та доступ до API, бо проблема з preflight може виглядати схоже.
  • Усі відвідувачі ніби мають одну адресу? CDN або проксі перед вашим сайтом може приховувати справжні адреси. Тоді всі ділять одну межу. Читайте Хостинг і сумісність.