Как AI-агенты видят кнопки, формы и каталог сайта

AI-агенты видят интерфейс сайта по-разному. Один анализирует скриншот и нажимает по координатам, другой читает DOM, третий использует дерево доступности, а браузерный агент может получить специальные инструменты страницы. Поэтому видимая человеку кнопка не обязательно имеет понятный программный смысл, а корректный DOM не гарантирует, что визуальный агент выберет нужный объект.

Надёжность появляется, когда несколько представлений согласованы: подпись, доступное имя, состояние JavaScript и серверный результат относятся к одному товару и одному действию.

Визуальный анализ

Агент получает изображение страницы и пытается распознать текст, элементы и отношения. Он похож на пользователя с мышью, но может ошибиться на перекрытиях, адаптивной вёрстке и одинаковых карточках. Иконка без подписи понятна только из привычки. Маленькое предупреждение может остаться незамеченным.

Визуальный способ полезен для сайтов без специальных интерфейсов, но плохо подходит для операций с высокой ценой ошибки.

DOM и дерево доступности

DOM показывает элементы и атрибуты, однако современная страница содержит много технических контейнеров. Дерево доступности отбрасывает часть шума и отражает роли, имена и состояния. Нативные button, input и select обычно дают более ясный результат, чем набор div с обработчиками.

Ошибки возникают, когда визуальное и программное состояния расходятся. На экране выбран синий вариант, а атрибут и скрытое поле всё ещё указывают красный. Агент может честно выполнить действие с неверным параметром.

Кнопка: что нужно знать кроме названия

• К какому объекту относится действие.
• Каковы его последствия: черновик, отправка или оплата.
• Можно ли вызвать его повторно.
• Находится ли операция в состоянии загрузки.
• Как сайт подтвердит успешный результат.

Надпись «Продолжить» без контекста слаба. «Показать итог заявки» и «Отправить заявку» разделяют подготовку и значимое действие.

Форма: поля недостаточно просто найти

Агенту нужно понять формат, обязательность и зависимость. Поле «мощность» без единицы двусмысленно. Флажок согласия нельзя отмечать автоматически. После ошибки корректные значения должны сохраняться, а сообщение — указывать, что изменить.

Перед отправкой полезно показать сводку. Тогда пользователь замечает, что агент выбрал не ту услугу или неверно распознал количество.

Каталог: самая сложная связь

В каталоге фильтр, карточки и торговые предложения меняются динамически. Агент должен дождаться обновления, сохранить критерии и связать кнопку с конкретным SKU. Пагинация или бесконечная прокрутка не должны создавать впечатление, что первые товары — весь ассортимент.

Характеристики лучше хранить отдельными значениями с единицами. Если важный параметр есть только в PDF, агент может его не учесть. Когда совпадений нет, сайт должен сообщить это явно, а не показывать популярные товары без объяснения.

Специальные инструменты страницы

WebMCP предлагает описывать действие как инструмент со схемой данных. Это уменьшает зависимость от кликов, но не отменяет проверку сервера. Инструмент с неверным описанием или чрезмерными полномочиями опаснее нераспознанной кнопки, потому что агент вызовет его уверенно.

Практическая проверка должна включать разные способы и неидеальные условия: мобильный экран, медленный ответ, неверное поле, пустой результат и повтор. Одна успешная демонстрация не доказывает готовность.

Алиса может разобрать конкретный пользовательский путь и показать, на каком уровне теряется смысл: в разметке, JavaScript-состоянии, данных или серверном обработчике.