Кеш обратного DNS
Проверьте имя поискового бота один раз, а затем быстро пропускайте его неделями.
Многие боты называют себя Googlebot или Bingbot, потому что сайты впускают поисковые системы. BotBlocker не доверяет этому заявлению. Он спрашивает у DNS имя за адресом посетителя — обратный DNS (PTR). Настоящий Googlebot приходит с адреса, имя которого заканчивается на googlebot.com или google.com. Поддельный — нет. Сама проверка описана в разделах Сигналы обнаружения ботов и Доверенные боты.
Запрос имеет свою цену. BotBlocker должен спросить DNS-сервер в интернете и дождаться ответа, а это может занять момент. Поисковые боты приходят часто, поэтому спрашивать снова при каждом визите замедляло бы ваш сайт без причины. Настройки на этой странице заставляют BotBlocker запоминать две вещи: имя каждого адреса, который он искал, и правило разрешения для всей сети бота, которого он уже подтвердил.

*Группа Обратный DNS (PTR). Откройте её через BotBlocker → Настройки → Система → Основные.*
Два вида памяти
Полезно различать эти две вещи, потому что у них собственные сроки жизни.
Кеш имён запоминает ответ на вопрос «какое имя принадлежит этому адресу?». BotBlocker хранит его в своей базе данных, а также в Redis или Memcached, если вы их используете (см. Бэкенды кеша). Следующий визит с того же адреса использует сохранённое имя и не ждёт DNS. Время жизни кеша PTR определяет, как долго остаётся имя.
Правило разрешения — шаг дальше. Когда бот проходит проверку, BotBlocker добавляет правило разрешения для его сети в ваши Списки IP. Следующий визит из этой сети совпадает с правилом сразу, и BotBlocker вообще не нужен поиск. Маска подсети для PTR-правил определяет, насколько велика эта сеть, а Срок действия PTR-правил определяет, когда правило истекает.
Пример
Googlebot приходит с 66.249.66.1, со значениями по умолчанию:
- BotBlocker ищет имя:
crawl-66-249-66-1.googlebot.com. Имя совпадает с Google, поэтому визит пропускается. - Имя сохраняется на 1 день. Другой визит с того же адреса сегодня пропускает DNS-запрос.
- BotBlocker также добавляет правило разрешения для
66.249.66.1/32, точного адреса, который был проверен. В заметке правила показаны User-Agent бота и адрес, с которого он пришёл. - В течение следующих 90 дней визиты Googlebot с этого точного адреса совпадают с правилом и проходят сразу. Другие адреса в той же сети проверяются снова.
- Через 90 дней правило истекает. Следующий визит проверяется по DNS снова, и создаётся новое правило, если он всё ещё проходит.
BotBlocker создаёт это правило только для ботов, которых он подтвердил по имени. Бот, которому доверяют по его адресу или владельцу сети, его не получает, потому что его и так быстро проверять.
Настройки
Все четыре настройки находятся в BotBlocker → Настройки → Система → Основные, в группе Обратный DNS (PTR). Страница Состояние системы и боковая панель также показывают переключатель для кеша PTR и его времени жизни.
Обратный DNS (PTR)
Кеш PTR
По умолчанию: Вкл.
BotBlocker хранит каждый ответ обратного DNS, чтобы повторный визит с того же адреса не ждал DNS снова.
- Вкл.: каждый адрес ищется один раз за Время жизни кеша PTR. Это правильный выбор почти для каждого сайта.
- Выкл.: каждый визит, которому нужно имя, ждёт свежий DNS-запрос. Проверка та же, только медленнее. Выключайте его только на короткое время, чтобы проверить проблему с DNS.
Правила разрешения ниже создаются даже когда этот переключатель выключен.
Время жизни кеша PTR
По умолчанию: 1 день
Как долго одно сохранённое имя остаётся в использовании. Вы можете выбрать 1 день, 2 дня, 3 дня, 1 неделю, 2 недели или 1 месяц. Старые записи удаляются фоновой задачей.
- Меньшее время: изменение имени замечается раньше, но BotBlocker спрашивает DNS чаще.
- Большее время: меньше запросов, но старое имя остаётся в использовании дольше.
Поисковые системы редко меняют свои имена, поэтому значение по умолчанию — хороший баланс.
Маска подсети для PTR-правил
По умолчанию: /32 - /128 (один IP)
Насколько большую сеть покрывает правило разрешения. Первое число — для IPv4, второе — для IPv6. Вы можете выбрать:
- /32 - /128 (один IP): правило покрывает только точный адрес, который прошёл. Это самый строгий выбор и значение по умолчанию. Ботам, которые перемещаются между адресами, нужен новый поиск для каждого.
- /28 - /64 (малая подсеть): 16 адресов IPv4 или одна сеть IPv6 /64.
- /24 - /64 (стандарт): 256 адресов IPv4 или одна сеть IPv6 /64. Шире значения по умолчанию; включайте, только если согласны доверять непроверенным соседям.
Больший диапазон означает меньше запросов, потому что одна проверка покрывает и соседей бота. Меньший диапазон безопаснее, потому что правило доверяет меньшему числу адресов, которые никогда не проверялись. Поисковые системы держат своих краулеров в собственных диапазонах, поэтому стандартный размер для них безопасен.
Срок действия PTR-правил
По умолчанию: 90 дней
Как долго правило разрешения остаётся до истечения. Вы можете выбрать 10, 30, 60, 90 или 120 дней.
- Меньшее время: BotBlocker проверяет сеть снова раньше. Если провайдер передаёт диапазон кому-то другому, старое доверие заканчивается раньше.
- Большее время: меньше запросов со временем и меньше правил для пересоздания.
Когда что-то идёт не так
- В ваших списках IP появляется много правил разрешения? Это нормально. Каждое из них — подтверждённая сеть бота, и каждое истекает само по себе после Срока действия PTR-правил.
- Хотите проверить бота снова сейчас? Удалите его правило разрешения в Списках IP. Следующий визит проверяется по DNS снова.
- Настоящий поисковый бот блокируется как поддельный? Имя не совпало. Это вопрос обнаружения, а не вопрос кеша. См. Доверенные боты и Сигналы обнаружения ботов.
- Проверки для ботов кажутся медленными? Убедитесь, что Кеш PTR включён. Если сами поиски не удаются, DNS-резолвер вашего хостинга может быть медленным или заблокированным, а это BotBlocker исправить не может.
- Сайт переехал за прокси или CDN, и имена выглядят неправильно? BotBlocker может видеть адрес прокси, а не посетителя. Сначала исправьте настройку реального адреса (см. Хостинг и совместимость), затем удалите неправильные правила разрешения.