Захист від сканера 404

Ловіть ботів, які складають мапу вашого сайту, одну відсутню сторінку за раз.

Це аддон PRO: йому потрібна ліцензія PRO.

Більшість ботів, які шукають шлях усередину, не стукають у головні двері. Вони проходять довгий список адрес, яких не має існувати: старі резервні копії, приховані файли, адмін-шляхи, залишки плагінів. Кожна така здогадка повертає «сторінку не знайдено». Людина рідко збирає купу ненайдених сторінок за кілька хвилин. Сканер робить це цілий день.

Цей аддон стежить, скільки ненайдених сторінок просить одна адреса. Коли це число стає надто високим надто швидко, наступний запит отримує перевірку або блокування, перш ніж сканер завершить свій список. Звичайних відвідувачів, відомі вам несправні посилання й вашу власну команду не чіпають.

Як це працює

1. Рахує ненайдені сторінки для кожної адреси. Рахуються лише справжні відповіді «сторінку не знайдено». Звичайний перегляд сторінки ніколи не додає до лічильника.

2. Дивиться на рухоме вікно. Аддон тримає лише останні кілька хвилин активності. Адреса, яка кілька разів вгадує, а потім поводиться добре, забувається. Це не постійний запис дрібних помилок.

3. Діє, коли число надто високе. Щойно адреса перевищує поріг усередині вікна, аддон пам’ятає її на час блокування нижче. На свій наступний запит вона отримує перевірку (справжня людина її проходить і йде далі) або блокування, залежно від обраної дії.

4. Захищає невинних. Відвідувачі, які прийшли за несправним посиланням із вашого сайту, зазвичай несуть ваш сайт як референт, а користувачі, які ввійшли, це ваші співробітники. Обидві групи виключені за замовчуванням. Ви також можете перелічити мережі, які ніколи не можна чіпати.

Хочете спершу поспостерігати? Увімкніть Лише моніторинг. Аддон усе одно рахує, але нікого не перевіряє й не блокує. Скористайтеся цим, щоб побачити свій звичайний рівень трафіку 404, а потім виберіть поріг.

Налаштування

Виявлення та поріг

Увімкнути захист від сканера 404

За замовчуванням: Увімкнено після активації

Головний перемикач. Вимкніть його, щоб повністю припинити лічбу й дії. Поки він вимкнений, ніщо інше на цій сторінці не діє.

Поріг 404

За замовчуванням: 12

Скільки ненайдених сторінок одна адреса може попросити всередині вікна, перш ніж аддон відреагує. Знизьте його, щоб ловити сканери раніше, але чекайте більше перевірок для зайнятих справжніх відвідувачів на великому сайті. Підвищте його, якщо на вашому сайті багато природно відсутніх адрес.

Вікно (хвилини)

За замовчуванням: 10

Як далеко назад аддон рахує. Коротше вікно швидше реагує на сплеск і швидше забуває; довше вікно ловить повільного сканера, який розтягує свої здогадки.

Лише моніторинг

За замовчуванням: Вимкнено

Коли ввімкнено, аддон рахує активність, але нікого не перевіряє й не блокує. Увімкніть його, коли налаштовуєте аддон, поспостерігайте день у Трафіку й журналі аудиту, потім вимкніть і поставте поріг вище за вашого найзайнятішого справжнього відвідувача.

Відповідь

Дія

За замовчуванням: Виклик (CAPTCHA)

Що стається з адресою, яка перевищила поріг.

  • Виклик (CAPTCHA) просить відвідувача пройти вашу звичайну перевірку. Справжня людина йде далі; більшість сканерів не можуть.
  • Заблокувати запит показує сторінку блокування. Використовуйте це, лише якщо впевнені, що поріг правильний, бо заблокований справжній відвідувач бачить помилку.

Тривалість блокування (хвилини)

За замовчуванням: 60

Скільки адреса лишається під перевіркою або заблокованою після перевищення порогу. Коли час спливає, лічба починається заново. Тримайте його достатньо довгим, щоб пережити сканування, і достатньо коротким, щоб спільна адреса (офіс, мобільна мережа) відновилася.

Винятки

Ігнорувати Referer того самого хоста

За замовчуванням: Увімкнено

Коли ввімкнено, ненайдена сторінка, на яку відвідувач прийшов із вашого сайту, не рахується. Це покриває звичайний випадок несправного внутрішнього посилання. Лишіть це ввімкненим, якщо не полюєте за сканером, який підробляє референти.

Звільнити відвідувачів, які увійшли

За замовчуванням: Увімкнено

Коли ввімкнено, користувачів, які ввійшли, ніколи не рахують і не блокують. Тримайте це ввімкненим, щоб ваші редактори й адміністратори не замкнули себе назовні, перевіряючи посилання.

Список дозволених

За замовчуванням: порожньо

Адреси або мережі, які ніколи не рахують і не блокують, по одній на рядок. Приймаються одна адреса (192.0.2.10) або діапазон (192.0.2.0/24). Рядки, що починаються з #, ігноруються. Додайте свій офіс, сервіс моніторингу й будь-якого довіреного сканера, який ви запускаєте.

Що ви побачите

Коли аддон перевіряє або блокує адресу, подія потрапляє до вашого журналу трафіку й аудиту, як будь-яке інше рішення, з причиною «404 scanner threshold exceeded». Використовуйте журнал, щоб налаштувати поріг: якщо справжніх відвідувачів перевіряють надто часто, підвищте поріг або збільште вікно.

Поширені проблеми

  • Справжні відвідувачі отримують перевірку? Підвищте Поріг 404 або ввімкніть Лише моніторинг на якийсь час і подивіться в журнал, щоб знайти свій звичайний рівень.
  • Сканер усе ще проходить? Знизьте поріг або скоротите вікно. Дуже повільні сканери розтягують свої здогадки; довше вікно ловить їх, але й рахує більше звичайної активності.
  • Спільний офіс або мережу спіймали? Додайте її до Списку дозволених.
  • Мій інструмент моніторингу блокується? Додайте його адресу до Списку дозволених.