Кеш зворотного DNS
Перевірте ім’я пошукового бота раз, а потім швидко пропускайте його тижнями.
Багато ботів вдають Googlebot або Bingbot, бо сайти пускають пошукові системи. BotBlocker не вірить цій заяві. Він питає DNS про ім’я, що стоїть за адресою відвідувача, тобто робить зворотний DNS (PTR) запит. Справжній Googlebot приходить з адреси, ім’я якої закінчується на googlebot.com або google.com. Підроблений — ні. Саму перевірку описано в Сигналах виявлення ботів і Довірених ботах.
Запит має ціну. BotBlocker мусить запитати DNS-сервер в інтернеті й дочекатися відповіді, а це може зайняти мить. Пошукові боти приходять часто, тож питати знову на кожному візиті марно сповільнювало б ваш сайт. Налаштування на цій сторінці змушують BotBlocker пам’ятати дві речі: ім’я кожної адреси, яку він перевірив, і правило дозволу для всієї мережі бота, якого він уже підтвердив.

*Група Зворотний DNS (PTR). Відкрийте її через BotBlocker → Налаштування → Система → Основні.*
Два види пам’яті
Ці дві речі варто тримати окремо, бо в кожної власний час життя.
Кеш імен пам’ятає відповідь на питання «яке ім’я належить цій адресі?». BotBlocker зберігає її у своїй базі даних, а також у Redis або Memcached, якщо ви їх використовуєте (див. Бекенди кешу). Наступний візит із тієї самої адреси повторно використовує збережене ім’я й не чекає на DNS. Час існування кешу PTR вирішує, як довго ім’я лишається.
Правило дозволу це крок далі. Коли бот проходить перевірку, BotBlocker додає правило дозволу для його мережі у ваші правила IP. Наступний візит із цієї мережі одразу відповідає правилу, і BotBlocker узагалі не потребує запиту. Маска підмережі для PTR-правил вирішує, яка велика ця мережа, а Термін дії PTR-правил вирішує, коли правило завершується.
Приклад
Googlebot приходить з 66.249.66.1 із початковими налаштуваннями:
- BotBlocker шукає ім’я:
crawl-66-249-66-1.googlebot.com. Ім’я збігається з Google, тож візит дозволено. - Ім’я зберігається на 1 день. Інший візит із тієї самої адреси сьогодні пропускає DNS-запит.
- BotBlocker також додає правило дозволу для
66.249.66.1/32, точної адреси, яку перевірили. Примітка правила показує user agent бота й адресу, з якої він прийшов. - Наступні 90 днів візити Googlebot із цієї точної адреси відповідають правилу й проходять одразу. Інші адреси в тій самій мережі перевіряють знову.
- Після 90 днів правило завершується. Наступний візит знову перевіряють через DNS, і створюється нове правило, якщо він усе ще проходить.
BotBlocker створює це правило лише для ботів, підтверджених за іменем. Бот, якому довіряють за адресою або власником мережі, його не отримує, бо його вже швидко перевіряти.
Налаштування
Усі чотири налаштування є в BotBlocker → Налаштування → Система → Основні, у групі Зворотний DNS (PTR). Сторінка Стан системи і бічна панель також показують перемикач для кешу PTR та його часу життя.
Зворотний DNS (PTR)
Кеш PTR
За замовчуванням: Увімкнено
BotBlocker зберігає кожну відповідь зворотного DNS, тож повторний візит із тієї самої адреси не чекає на DNS знову.
- Увімкнено: кожну адресу шукають раз за Час існування кешу PTR. Це правильний вибір майже для кожного сайту.
- Вимкнено: кожен візит, якому потрібне ім’я, чекає на новий DNS-запит. Перевірка та сама, лише повільніша. Вимикайте це лише на короткий час, щоб перевірити проблему з DNS.
Правила дозволу нижче створюються навіть тоді, коли цей перемикач вимкнений.
Час існування кешу PTR
За замовчуванням: 1 день
Як довго одне збережене ім’я лишається в дії. Можна вибрати 1 день, 2 дні, 3 дні, 1 тиждень, 2 тижні або 1 місяць. Старі записи видаляє фонове завдання.
- Коротший час: зміну імені видно швидше, але BotBlocker питає DNS частіше.
- Довший час: менше запитів, але старе ім’я лишається в дії довше.
Пошукові системи рідко змінюють свої імена, тож початкове значення це добрий баланс.
Маска підмережі для PTR-правил
За замовчуванням: /32 - /128 (одна IP)
Яку велику мережу охоплює правило дозволу. Перше число для IPv4, друге для IPv6. Можна вибрати:
/32 - /128(одна IP): правило охоплює лише ту саму адресу, яка пройшла перевірку. Це найсуворіший вибір і значення за замовчуванням. Ботам, які переходять між адресами, потрібен новий запит для кожної./28 - /64(мала підмережа): 16 адрес IPv4 або одна мережа IPv6 /64./24 - /64(стандарт): 256 адрес IPv4 або одна мережа IPv6 /64. Ширше за значення за замовчуванням; вмикайте, лише якщо згодні довіряти неперевіреним сусідам.
Більший діапазон означає менше запитів, бо одна перевірка охоплює і сусідів бота. Менший діапазон безпечніший, бо правило довіряє меншій кількості адрес, які ніколи не перевіряли. Пошукові системи тримають своїх краулерів у власних діапазонах, тож стандартний розмір для них безпечний.
Термін дії PTR-правил
За замовчуванням: 90 днів
Як довго правило дозволу лишається, перш ніж завершитися. Можна вибрати 10, 30, 60, 90 або 120 днів.
- Коротший час: BotBlocker перевіряє мережу знову швидше. Якщо провайдер передає діапазон комусь іншому, стара довіра закінчується раніше.
- Довший час: менше запитів із часом і менше правил для перебудови.
Коли щось іде не так
- У ваших правилах IP з’являється багато правил дозволу? Це нормально. Кожне з них це підтверджена мережа бота, і кожне саме завершується після Терміну дії PTR-правил.
- Хочете перевірити бота знову зараз? Видаліть його правило дозволу в Правилах IP. Наступний візит знову перевірять через DNS.
- Справжній пошуковий бот заблокований як підроблений? Ім’я не збіглося. Це питання виявлення, а не кешу. Див. Довірені боти і Сигнали виявлення ботів.
- Перевірки ботів здаються повільними? Переконайтеся, що Кеш PTR увімкнений. Якщо самі запити не вдаються, DNS-резолвер вашого хостингу може бути повільним або заблокованим, і BotBlocker цього не виправить.
- Сайт переїхав за проксі або CDN, і імена виглядають неправильно? BotBlocker може бачити адресу проксі, а не відвідувача. Спершу виправте налаштування реальної адреси (див. Хостинг і сумісність), потім видаліть неправильні правила дозволу.