Довірені боти та постачальники ШІ
Пропускайте добрих ботів і ловіть підробки, які лише копіюють їхні імена.
Не кожен бот поганий. Пошукові системи індексують ваші сторінки. Боти попереднього перегляду посилань будують картки, які люди бачать, коли діляться вашим посиланням. Постачальники ШІ читають веб власними краулерами. Якщо ви їх заблокуєте, то втратите видимість.
Але ім’я бота легко скопіювати. Будь-який скрапер може назватися «Googlebot» у своєму User-Agent. Тож BotBlocker не довіряє самому імені. На вкладках Довірені боти і LLM кожен краулер має ім’я й доказ: звідки приходить справжній краулер. Відвідувач із правильним ім’ям і правильним походженням проходить. Відвідувач із правильним ім’ям і неправильним походженням — підробка, і BotBlocker його відмовляє.

Вкладка Довірені боти. Відкрийте її через BotBlocker → Правила → Довірені боти.
Спочатку ім’я, потім доказ
Для кожного відвідувача BotBlocker шукає текст Пошук кожного довіреного бота в User-Agent. Великі й малі літери не важливі. Коли збіг знайдено, він перевіряє доказ у полі Дані. Доказ може мати три види записів, розділених пробілами:
- Закінчення імені хоста, наприклад
.googlebot.com. BotBlocker робить зворотний запит DNS для адреси відвідувача. Потім перевіряє, що ім’я закінчується правильно і що воно вказує назад на ту саму адресу. Підробка не може пройти цю перевірку, бо не контролює DNS справжнього провайдера. BotBlocker зберігає результат на деякий час, щоб не повторювати запит за кожного візиту. Див. Кеш зворотного DNS. - Адреса або діапазон, записаний як
ip:66.249.64.0/19. Адреса відвідувача має бути в цьому діапазоні. - Мережа, записана як
asn:15169. Відвідувач має приходити з цієї мережі, і та сама мережа повинна мати правило Дозволити на вкладці ASN. Див. Правила за країнами та ASN.
Якщо збігається один запис, відвідувач — перевірений добрий бот. BotBlocker пропускає його без сторінки перевірки й без обмеження швидкості. Якщо не збігається жоден запис, BotBlocker відмовляє відвідувачу й записує його як «Fake bot detected».
Одна крапка (.) у полі Дані означає «довіряти імені без доказу». Не користуйтеся нею. Будь-хто, хто скопіює ім’я, потрапить усередину.
Свіже встановлення вже має записи для великих пошукових систем та їхніх допоміжних ботів, наприклад Google, Bing, Yandex, Apple, DuckDuckGo і Baidu. Додавати їх не потрібно.
Довірені боти йдуть рано
Вкладки LLM і Довірені боти перевіряються до списків IP і всіх інших правил. Тож перевірений краулер не зупиняється правилом ASN або країни у звичайних перевірках. Повний порядок — у Правилах та списках IP.
ШІ-краулери на вкладці LLM
Вкладка LLM перелічує постачальників ШІ та їхніх краулерів. Хмара BotBlocker підтримує цей список актуальним. Ви не додаєте тут записи. Ви лише вирішуєте, яким постачальникам довіряти.
Для кожного постачальника таблиця показує назву Провайдер, Діапазони IP-адрес, які він публікує, і Токени UA — імена в User-Agent. Перевірка працює так само, як на вкладці «Довірені боти», але лише з діапазонами адрес. Відвідувач із відповідним токеном із переліченого діапазону — перевірений ШІ-краулер. Відвідувач із відповідним токеном з будь-якої іншої адреси відмовляється як підробка.
Кожен рядок має Увімкнути і Вимкнути. Коли ви вимикаєте постачальника, BotBlocker його не блокує. Він лише перестає йому довіряти. Його краулер тоді проходить звичайні перевірки, як будь-який інший відвідувач, і зазвичай не проходить сторінку перевірки. Синхронізувати з хмари отримує найновіший список зараз, а Завантажити у JSON-форматі зберігає копію.
Налаштування
Довірені боти
Ці поля є у вікні Додати довіреного бота.
Пріоритет
Позиція запису в списку, від 1 до 100. Менше число йде першим. BotBlocker зупиняється на першому записі, ім’я якого збігається. Тож якщо два записи можуть збігтися з одним User-Agent, дайте конкретнішому менше число. Вбудовані записи пошукових систем використовують пріоритет 1.
Правило
За замовчуванням: Дозволити
Дія для краулера, що збігся: Дозволити, Сірий, Темний або Блокувати. Лише Дозволити використовує доказ у полі Дані. Інші дії застосовуються до кожного відвідувача з цим ім’ям, без перевірки походження:
- Дозволити: перевірити походження, потім пропустити справжнього краулера.
- Сірий: позначити відвідувача як підозрілого.
- Темний: надіслати відвідувача на сторінку перевірки.
- Блокувати: відмовити кожному відвідувачу з цим ім’ям. Використовуйте для краулера, якого ніколи не хочете, наприклад агресивного SEO-інструмента.
Пошук
Текст для пошуку в User-Agent, наприклад Googlebot. Беріть частину, унікальну для цього краулера. Короткий або загальний текст, як-от bot, збігається з надто багатьма відвідувачами.
Дані
Доказ походження: закінчення імен хостів, як-от .googlebot.com .google.com, діапазони ip: або мережі asn:, розділені пробілами. Копіюйте їх із власної документації краулера. Наприклад, Google публікує, як перевірити Googlebot.
Якщо доказ неправильний або застарілий, справжнього краулера відмовлять як підробку. Якщо доказ надто слабкий, підробки потрапляють усередину.
Коментар
Назва краулера й де ви знайшли його доказ, наприклад «Bing, з документації Microsoft». Це допоможе вам оновити запис пізніше.
LLM
Вкладка LLM не має полів. Ви користуєтеся Увімкнути і Вимкнути в кожному рядку та кнопками Синхронізувати з хмари і Завантажити у JSON-форматі над таблицею. Якщо таблиця порожня, натисніть Синхронізувати з хмари.
Коли щось іде не так
- Краулера, якого ви хочете, відмовлено як «Fake bot detected»? Його походження не збігається з полем Дані. У провайдера можуть бути нові імена хостів або діапазони. Оновіть Дані з документації провайдера. Не замінюйте їх крапкою.
- Краулер, якого ви хочете, усе ще отримує сторінку перевірки? Перевірте, що його запис увімкнено і що Пошук є в його справжньому User-Agent. Подивіться на User-Agent у журналі відвідувачів, див. Журнали трафіку й аудиту.
- Справжні краулери всюди не проходять перевірку імені хоста? Ваш сервер може не мати змоги робити запити DNS. Запитайте хостера й прочитайте Кеш зворотного DNS.
- Хочете не пускати всіх ШІ-краулерів одного постачальника? Вимкніть постачальника на вкладці LLM. Щоб відмовити їм одразу, також додайте запис Блокувати з їхнім токеном на вкладці Довірені боти.
- Вкладка LLM порожня? Натисніть Синхронізувати з хмари. BotBlocker також сам намагається відремонтувати порожній список за кілька хвилин.