Как научить AI-агента исправлять собственные ошибки

Научить AI-агента исправлять собственные ошибки — не значит разрешить ему переписывать инструкции после каждого недовольного сообщения. Надёжный процесс разделяет обнаружение, исправление конкретной задачи и изменение системы. Агент может предложить новую попытку, но постоянное правило принимается только после проверки.

Сначала определите, что считается ошибкой

У красивого ответа нет объективной правильности. Нужны наблюдаемые критерии: обязательное поле извлечено верно, товар существует в каталоге, сумма совпадает с расчётом, источник подтверждает утверждение, инструмент вызван один раз.

Для разных задач применяются разные проверки. Формат и арифметику проверяет код, факт — источник, уместность передачи — правило, а полезность сложного ответа — человек по рубрике.

Не все ошибки можно исправить повторным запросом

Если модель нарушила JSON-формат, безопасно дать ей сообщение валидатора и попросить повторить. Если CRM недоступна, новая формулировка не поможет: нужно подождать или передать задачу. Если в базе знаний нет цены, агент не должен угадывать её во второй попытке.

• Ошибка формата — ограниченный автоматический повтор.
• Недостающие данные — уточнение у пользователя.
• Сбой инструмента — повтор по правилам или очередь.
• Конфликт источников — передача владельцу.
• Высокий риск — остановка и проверка человеком.

Исправляйте текущую задачу безопасно

После обнаружения ошибки агент получает конкретное объяснение: какое поле неверно, допустимые значения и исходный источник. Число попыток ограничено. Повторное действие имеет уникальный ключ, чтобы исправление не создало второй заказ или лид.

Пользователю не нужно показывать внутренний спор компонентов. Он получает честное сообщение о необходимости уточнения или передачи сотруднику.

Сохраняйте материал для разбора

Для ошибки фиксируются вход, версия инструкции и модели, найденные документы, вызовы инструментов, результат проверки и исправление сотрудника. Лишние персональные данные удаляются или маскируются.

Одного финального ответа недостаточно: без промежуточных данных невозможно понять, ошибся поиск, модель или интеграция.

Превратите ошибку в постоянный тест

1. Воспроизвести случай на тех же входах.
2. Определить первый неверный этап.
3. Сформулировать ожидаемое поведение.
4. Исправить источник, правило или инструкцию.
5. Прогнать старые и новый тесты.
6. Выпустить изменение постепенно.

Если просто добавить фразу в промпт, можно исправить один пример и ухудшить соседние. Контрольный набор показывает регрессию.

Самопроверка полезна, но не независима

Модель может перечитать ответ, найти несоответствие формату и проверить наличие обязательных частей. Однако она способна повторить собственное заблуждение. Для важных фактов нужна сверка с источником, а для действий — серверная проверка.

Отдельный агент-проверяющий полезен, если получает независимые доказательства и чёткие критерии, а не просьбу «оцени коллегу».

Что можно автоматизировать со временем.

После накопления подтверждённых примеров система может автоматически исправлять узкие безопасные классы ошибок. Например, повторно запросить корректный формат или предложить выбрать один из найденных артикулов. Новые классы и значимые действия остаются у человека.

Цель — не добиться агента, который бесконечно чинит себя, а сократить повторение известных ошибок и вовремя остановить неизвестную.

Алиса может помочь настроить журнал ошибок, контрольный набор и безопасные правила повторной попытки.