Поиск и поведение источников

Сохраняйте правильность аналитики, чистоту поисковой выдачи и не давайте страницам проверки появляться в чужих фреймах.

Когда посетитель обязан пройти проверку, BotBlocker сначала показывает свою страницу проверки, а затем отправляет посетителя на запрошенную страницу. Этот небольшой крюк имеет побочные эффекты. Ваш инструмент аналитики может потерять информацию о том, откуда пришёл посетитель. Поисковые системы могут находить адреса страниц с лишними параметрами и перечислять их как дубликаты.

Настройки на этой странице справляются с этими побочными эффектами. Они сохраняют исходный реферер при проверке, ищут подозрительные ссылки в реферере и добавляют инструкции для поисковых систем на ваши страницы. Одна настройка также мешает другим сайтам показывать страницу проверки BotBlocker внутри фрейма.

Большинство этих настроек никого не блокируют. Неверное значение проявляется в вашей аналитике или результатах поиска, а не как заблокированный посетитель. Поэтому меняйте их с осторожностью и проверяйте свою консоль поиска после изменения.

Настройки трафика и рефереров BotBlocker

Панель Трафик и реферер. Откройте её через BotBlocker → Настройки → Трафик → Трафик и реферер.

Настройки ошибок и доступа BotBlocker

Группа Заголовки для поисковых систем находится на другой панели. Откройте её через BotBlocker → Настройки → Система → Ошибки и доступ.

Страница проверки может скрывать, откуда пришёл посетитель

Посетитель нажимает ссылку на другом сайте и попадает на вашу страницу. Если BotBlocker показывает проверку, посетитель проходит её и затем переходит на вашу страницу. Но теперь браузер сообщает, что посетитель пришёл с вашей собственной страницы проверки. Ваш инструмент аналитики теряет настоящий источник.

Когда включена Обработка рефереров UTM, BotBlocker сохраняет настоящий источник. Если браузер отправил реферер, то после проверки он отправляет посетителя на страницу с дополнительным параметром utm_referrer, который хранит исходный реферер. Тогда инструменты аналитики могут прочитать настоящий источник. Например, посетитель с новостного сайта попадает на /offer/?utm_referrer=https://news.example/article.

Эти дополнительные адреса — копии ваших обычных страниц. Если поисковая система найдёт их, она может увидеть дублирующееся содержимое. Добавить noindex для UTM-страниц просит поисковые системы не перечислять страницы с параметром utm_referrer. Две настройки работают в паре.

Подозрительные ссылки в реферере

Некоторые боты подделывают реферер, чтобы выглядеть как посетитель из поиска или из рекламы. Они часто копируют поисковый или отслеживающий адрес с параметрами, например q, utm_source, gclid или fbclid. Проверять GET-параметры в реферере смотрит на параметры в адресе реферера. Когда он находит один из параметров из списка BotBlocker, он помечает посетителя как подозрительного. За это одного посетителя не блокируют, но следующие проверки относятся к нему строже.

Эта проверка применяется только к посетителям, у которых ещё нет действительного пропуска. Прочитайте Сигналы обнаружения ботов о других сигналах и Куки и сессии о пропуске.

Инструкции для поисковых систем

Поисковые системы читают заголовок X-Robots-Tag вместе с каждой страницей. Он говорит им, разрешено ли им перечислять страницу, показывать сниппет или хранить кешированную копию.

BotBlocker всегда отправляет noindex на своей странице проверки и noindex, noarchive на своих страницах блокировки и отказа. Поэтому эти страницы никогда не появляются в результатах поиска, и для этого не нужна настройка.

Группа Заголовки для поисковых систем и Добавить noarchive для всех страниц — другое. Они добавляют инструкции к обычным страницам, которые BotBlocker пропускает вашим посетителям и поисковым системам. Это изменение для всего сайта. Например, если вы выберете там noindex, вы просите поисковые системы удалить ваши страницы из результатов.

Проверенные поисковые системы проходят BotBlocker без проверки. Прочитайте Сигналы обнаружения ботов.

Фреймы и кликджекинг

Другой сайт может показывать вашу страницу внутри фрейма. При атаке кликджекинга фрейм скрыт, и посетитель нажимает на что-то, чего не видит.

Блокирование Cross-Origin Iframe защищает собственную страницу проверки и страницу блокировки BotBlocker. BotBlocker отправляет X-Frame-Options: SAMEORIGIN вместе с этими страницами, поэтому только ваш собственный сайт может показывать их во фрейме. Он не меняет ваши обычные страницы.

Чтобы защитить все ваши страницы, включая страницу входа, используйте аддон Заголовки безопасности. Когда аддон отправляет заголовок фрейма, BotBlocker оставляет эту работу аддону.

Настройки

Значения по умолчанию безопасны для большинства сайтов. Меняйте настройку поиска только тогда, когда знаете, как она влияет на вашу выдачу.

Настройки трафика и рефереров

Эти настройки управляют реферером и фреймами на странице проверки.

Обработка рефереров UTM

По умолчанию: Вкл.

Сохраняет исходный реферер, когда посетитель проходит проверку. Если браузер отправил реферер, BotBlocker добавляет параметр utm_referrer с настоящим источником к адресу, на который посетитель переходит после проверки.

  • Вкл.: ваша аналитика по-прежнему видит, откуда пришли проверенные посетители. Посетитель без реферера переходит на обычный адрес.
  • Выкл.: после проверки посетитель переходит на обычный адрес. Аналитика может показать ваш собственный сайт как источник.

Используйте её вместе с Добавить noindex для UTM-страниц ниже, чтобы эти дополнительные адреса не появлялись в поиске.

Проверять GET-параметры в реферере

По умолчанию: Вкл.

Смотрит на параметры в адресе реферера и помечает посетителя как подозрительного, когда находит параметр из списка BotBlocker. В списке есть поисковые и отслеживающие параметры, которые часто копируют поддельные рефереры, например q, text, utm_source, utm_campaign, gclid, fbclid, msclkid, ref и clickid.

  • Вкл.: посетители с такими реферерами получают более строгие проверки.
  • Выкл.: BotBlocker игнорирует параметры реферера.

У настоящих посетителей из рекламы и кампаний тоже могут быть эти параметры. Если многие настоящие посетители из одной кампании видят проверки, запишите точную ссылку и затем выключите это.

Блокирование Cross-Origin Iframe

По умолчанию: Выкл.

Не даёт другим сайтам показывать страницу проверки и страницу блокировки BotBlocker внутри фрейма.

  • Вкл.: BotBlocker отправляет X-Frame-Options: SAMEORIGIN вместе с этими страницами.
  • Выкл.: BotBlocker не отправляет заголовок фрейма.

Если ваш сайт показывается внутри фрейма на сайте партнёра, посетители, которым там нужно пройти проверку, видят пустой фрейм. Для полной защиты от кликджекинга на всех страницах используйте аддон Заголовки безопасности.

Настройки заголовков

Эти настройки добавляют инструкции для поисковых систем.

Добавить noarchive для всех страниц

По умолчанию: Выкл.

Добавляет noarchive в заголовок X-Robots-Tag страниц, которые BotBlocker пропускает. Это просит поисковые системы не показывать кешированную копию ваших страниц. Собственные страницы блокировки BotBlocker всегда имеют noarchive, с этой настройкой или без неё.

  • Вкл.: поисковые системы не предлагают кешированные копии ваших страниц.
  • Выкл.: поисковые системы решают сами.

Она не удаляет ваши страницы из результатов поиска и никого не блокирует.

Добавить noindex для UTM-страниц

По умолчанию: Выкл.

Добавляет noindex к страницам, в адресе которых есть параметр utm_referrer. Это адреса, которые Обработка рефереров UTM создаёт после проверки. Тогда поисковые системы не перечисляют эти копии, а ваши обычные адреса остаются в поиске.

  • Вкл.: в результатах поиска нет дублирующихся адресов utm_referrer.
  • Выкл.: поисковые системы могут их перечислять.

Она не смотрит на другие параметры кампаний, например utm_source или utm_campaign. Для них используйте настройки канонического URL вашего SEO-плагина.

Заголовки для поисковых систем

Директивы X-Robots-Tag

По умолчанию: ничего не выбрано

Добавляет выбранные инструкции в заголовок X-Robots-Tag каждой страницы, которую BotBlocker пропускает. Каждый переключатель добавляет одну инструкцию:

  • noindex: не перечислять страницу в результатах поиска.
  • nofollow: не переходить по ссылкам на странице.
  • none: то же самое, что noindex и nofollow вместе.
  • noarchive: не показывать кешированную копию.
  • nosnippet: не показывать текстовый предпросмотр в результатах.
  • noimageindex: не перечислять изображения на странице.
  • notranslate: не предлагать перевод страницы.
  • unavailable_after: прекратить показывать страницу после даты. BotBlocker отправляет её без даты, поэтому поисковые системы могут её игнорировать.
  • max-snippet, max-image-preview, max-video-preview: BotBlocker отправляет их с самыми широкими значениями (-1, large, -1). Они разрешают полные предпросмотры.

Не выбирайте noindex, nofollow или none на публичном сайте. Они применяются ко всем вашим страницам, поэтому ваш сайт может исчезнуть из поиска. Поисковым системам могут понадобиться недели, чтобы снова перечислить ваши страницы. Меняйте их только если вы знаете свой SEO-план, и проверяйте результат в своей консоли поиска. Когда один из них включён, панель показывает предупреждение под группой.

Когда что-то идёт не так

  • Ваши страницы исчезли из результатов поиска? Откройте Заголовки для поисковых систем и выключите noindex, none и nofollow. Затем попросите поисковую систему снова просканировать ваши страницы.
  • Ваша аналитика показывает ваш собственный сайт как источник? Включите Обработка рефереров UTM.
  • Дублирующиеся адреса с utm_referrer в вашей консоли поиска? Включите Добавить noindex для UTM-страниц.
  • Посетители из одной рекламной кампании видят проверки? Запишите точную ссылку. Затем выключите Проверять GET-параметры в реферере и следите за результатом.
  • Вставка на сайте партнёра показывает пустой фрейм? Выключите Блокирование Cross-Origin Iframe или попросите партнёра вместо этого поставить ссылку на ваш сайт.
  • Сканер безопасности говорит, что ваши страницы можно встроить во фрейм? Эта настройка защищает только собственные страницы BotBlocker. Используйте аддон Заголовки безопасности.