Защита от сканирования 404
Ловите ботов, которые составляют карту вашего сайта, одну отсутствующую страницу за раз.
Это PRO-аддон: нужна лицензия PRO.
Большинство ботов, которые ищут способ проникнуть внутрь, не стучатся в парадную дверь. Они проходят по длинному списку адресов, которых не должно существовать: старые резервные копии, скрытые файлы, пути админки, остатки плагинов. Каждая такая догадка возвращает «страница не найдена». Человек редко собирает кучу ненайденных страниц за несколько минут. Сканер делает это целый день.
Этот аддон следит за тем, сколько ненайденных страниц запрашивает один адрес. Когда это число слишком быстро становится слишком высоким, следующий запрос получает проверку посетителя или блокировку, прежде чем сканер закончит свой список. Обычные посетители, неработающие ссылки, о которых вы уже знаете, и ваша собственная команда остаются нетронутыми.
Как это работает
1. Он считает ненайденные страницы по каждому адресу. Считаются только настоящие ответы «страница не найдена». Обычный просмотр страницы никогда не увеличивает счётчик.
2. Он смотрит на скользящее окно. Аддон хранит только последние несколько минут активности. Адрес, который пару раз угадывает, а затем ведёт себя хорошо, забывается. Это не постоянная запись мелких ошибок.
3. Он действует, когда число слишком высоко. Как только адрес превышает порог внутри окна, аддон запоминает его на время блокировки ниже. При следующем запросе он получает проверку (настоящий человек проходит её и продолжает) или блокировку, в зависимости от выбранного вами действия.
4. Он защищает невиновных. Посетители, которые переходят по неработающей ссылке с вашего собственного сайта, обычно несут ваш сайт как свой реферер, а авторизованные пользователи — это ваш персонал. И те и другие исключены по умолчанию. Вы также можете перечислить сети, которые нельзя трогать никогда.
Предпочитаете сначала понаблюдать? Включите Только мониторинг. Аддон всё равно считает, но никогда никого не проверяет и не блокирует. Используйте его, чтобы увидеть ваш обычный уровень ненайденного трафика, а затем выберите порог.
Настройки
Обнаружение и порог
Включить защиту от сканера 404
По умолчанию: Включено после активации
Главный переключатель. Выключите его, чтобы полностью остановить подсчёт и действия. Ничто другое на этой странице не действует, пока он выключен.
Порог 404
По умолчанию: 12
Сколько ненайденных страниц один адрес может запросить внутри окна, прежде чем аддон среагирует. Понизьте его, чтобы ловить сканеры раньше, но ожидайте больше проверок для занятых настоящих посетителей на большом сайте. Повысьте его, если на вашем сайте много естественно отсутствующих адресов.
Окно (минуты)
По умолчанию: 10
Насколько далеко назад считает аддон. Короткое окно быстрее реагирует на всплеск и быстрее забывает; длинное окно ловит медленный сканер, который растягивает свои догадки.
Только мониторинг
По умолчанию: Выкл.
Когда он включён, аддон считает активность, но никогда никого не проверяет и не блокирует. Включите его, когда настраиваете аддон, наблюдайте день в разделе Журналы трафика и аудита, затем выключите его и задайте порог выше вашего самого занятого настоящего посетителя.
Ответ
Действие
По умолчанию: Проверка (CAPTCHA)
Что происходит с адресом, который превышает порог.
- Проверка (CAPTCHA) просит посетителя пройти вашу обычную проверку. Настоящий человек продолжает; большинство сканеров не может.
- Заблокировать запрос показывает страницу блокировки. Используйте его, только если уверены, что порог правильный, потому что заблокированный настоящий посетитель видит ошибку.
Длительность блокировки (минуты)
По умолчанию: 60
Как долго адрес остаётся под проверкой или заблокированным после того, как превысит порог. Когда время заканчивается, подсчёт начинается заново. Держите её достаточно долгой, чтобы пережить сканирование, и достаточно короткой, чтобы общий адрес (офис, мобильная сеть) восстановился.
Исключения
Игнорировать Referer с того же хоста
По умолчанию: Вкл.
Когда он включён, ненайденная страница, на которую посетитель попал с вашего собственного сайта, не считается. Это покрывает обычный случай неработающей внутренней ссылки. Оставьте его включённым, если только вы не преследуете сканер, который подделывает рефереры.
Исключить авторизованных посетителей
По умолчанию: Вкл.
Когда он включён, вошедшие пользователи никогда не считаются и не блокируются. Оставьте его включённым, чтобы ваши редакторы и администраторы не могли запереть себя снаружи, проверяя ссылки.
Список разрешённых
По умолчанию: Пусто
Адреса или сети, которые никогда не считаются и не блокируются, по одному на строку. Принимает отдельный адрес (192.0.2.10) или диапазон (192.0.2.0/24). Строки, начинающиеся с #, игнорируются. Добавьте свой офис, свою службу мониторинга и любой доверенный краулер, который вы запускаете.
Что вы увидите
Когда аддон проверяет или блокирует адрес, событие появляется в вашем журнале трафика и аудита, как любое другое решение, с причиной «404 scanner threshold exceeded». Используйте журнал, чтобы настроить порог: если настоящих посетителей проверяют слишком часто, повысьте порог или окно.
Частые проблемы
- Настоящие посетители получают проверку? Повысьте Порог 404 или на время включите Только мониторинг и понаблюдайте за журналом, чтобы найти свой обычный уровень.
- Сканер всё ещё проходит? Понизьте порог или сократите окно. Очень медленные сканеры растягивают свои догадки; более длинное окно ловит их, но также считает больше обычной активности.
- Общий офис или сеть пойманы? Добавьте её в Список разрешённых.
- Мой инструмент мониторинга блокируется? Добавьте его адрес в Список разрешённых.