Как отличить ботов от реальных посетителей сайта

Отличить ботов от реальных посетителей сайта по одному показателю невозможно. Человек может уйти за секунду, отключить JavaScript или открыть десятки страниц, а сложный бот — имитировать мышь и браузер. Нужна совокупность технических и поведенческих сигналов.

Сначала определите цель: очистить маркетинговый отчёт, защитить форму, снизить нагрузку или ограничить парсинг. Для каждой задачи допустимы разные методы и цена ложной блокировки.

Используйте фильтрацию аналитики как первый слой

В Метрике есть режимы фильтрации роботов и отчёты, позволяющие сегментировать визиты. Сравните данные с включёнными настройками, но не считайте их исчерпывающими: известные роботы распознаются лучше неизвестной автоматизации.

Не удаляйте исторические данные вручную. Фиксируйте настройки и дату изменения.

Смотрите серверные логи

Лог видит запросы, которые могли не запустить счётчик. Анализируйте частоту, последовательность URL, IP-диапазоны, user-agent, коды ответа и интервалы. Тысячи равномерных запросов к карточкам без ресурсов страницы похожи на парсер, но корпоративный прокси тоже объединяет многих людей под одним IP.

User-agent легко подделать, поэтому его недостаточно. Сверяйте несколько признаков.

Поведенческие сигналы

• одинаковые интервалы между действиями;
• неестественно высокая скорость обхода;
• повтор одного маршрута много раз;
• отсутствие загрузки связанных ресурсов;
• массовые визиты с одинаковыми параметрами;
• срабатывание цели без обязательных шагов;
• однотипные бессодержательные формы.

Каждый признак имеет человеческое объяснение. Автотесты компании, мониторинг доступности и интеграции нужно отделить от вредного трафика.

Проверьте рекламный трафик

Сегментируйте площадки, кампании, устройства и регионы. Аномальный источник может давать короткие визиты и повторные клики. Сопоставьте расходы, реальные страницы, цели и серверные запросы. Не называйте весь трафик площадки ботами только по отсутствию заявок.

Формы требуют серверной защиты

Валидация только в браузере легко обходится. Проверяйте поля на сервере, ограничивайте частоту, используйте скрытые ловушки осторожно и добавляйте CAPTCHA при подтверждённой необходимости. Сохраняйте причину блокировки без лишних персональных данных.

Слишком сложная защита способна потерять людей с ограничениями, VPN и корпоративными сетями. Предусмотрите альтернативный канал.

Не блокируйте полезных роботов случайно

Поисковые краулеры, мониторинг и сервисы интеграции могут создавать большую нагрузку, но выполнять полезную функцию. Проверяйте официальные способы верификации и назначение. Один заявленный user-agent не является доказательством подлинности.

robots.txt задаёт правила обхода для соблюдающих их систем, но не является механизмом безопасности.

Как оценить долю человеческого трафика

Сравните Метрику, логи, реальные формы, звонки и бизнес-события. Создайте сегменты «подтверждённо автоматический», «подозрительный» и «не определён». Не пытайтесь дать ложную точность там, где доказательств нет.

Порядок действий

1. Зафиксировать симптом и источник.
2. Проверить фильтрацию аналитики.
3. Выгрузить серверные логи периода.
4. Сопоставить несколько признаков.
5. Отделить собственные тесты и полезных роботов.
6. Ограничить подтверждённый паттерн.
7. Наблюдать ложные блокировки и нагрузку.

Алиса может помочь сопоставить Метрику, логи Linux и работу форм, чтобы защита не строилась на одном показателе отказов.