Как собирать ошибки AI-менеджера и улучшать его ответы

Собирать ошибки AI-менеджера нужно так, чтобы по записи можно было воспроизвести ситуацию и понять первый неверный этап. Скриншот странного ответа редко достаточен. Ошибка могла возникнуть в распознавании запроса, поиске источника, формировании текста, вызове CRM или устаревших данных.

Какие события считать ошибками

Не ограничивайтесь жалобами. Сотрудники могут молча исправлять карточки, клиент — уходить после неверного ответа, а агент — слишком часто передавать безопасные вопросы. Сигналы собираются из нескольких мест.

• Отрицательная отметка клиента с причиной.
• Исправление поля менеджером.
• Повторный вопрос после ответа.
• Передача человеку и её причина.
• Сбой или повтор инструмента.
• Автоматическая проверка факта или формата.
• Случайная контрольная выборка.

Что сохранять для воспроизведения

Нужны исходные сообщения, время, версии модели и инструкции, найденные фрагменты базы знаний, параметры инструментов, ответы интеграций и итоговое действие. Сохраняйте идентификаторы, позволяющие связать этапы одного обращения.

Персональные данные маскируются, доступ к журналу ограничивается, срок хранения соответствует цели. Для улучшения не обязательно копировать всю историю клиента.

Добавьте подтверждённое исправление

Фраза менеджера «плохо ответил» не объясняет ожидание. Сотрудник выбирает тип ошибки и указывает корректное значение, нужный источник или требуемое действие. Для спорного случая решение утверждает владелец процесса.

Не используйте каждое исправление как автоматическое обучение. Сотрудник тоже может ошибиться или применить исключение, которое нельзя превращать в общее правило.

Классифицируйте причину, а не тему

Группы «доставка», «цена», «каталог» полезны владельцам контента, но для технического улучшения важнее причина: документ отсутствует, поиск выбрал не тот фрагмент, инструкция неоднозначна, модель исказила факт, API вернул ошибку, право слишком широкое.

Одна беседа может содержать несколько ошибок. Отмечайте первый неверный шаг и последствия, иначе команда будет бесконечно править финальный текст.

Расставляйте приоритет по риску

Частая стилистическая шероховатость менее важна, чем один неверный платёж. Учитывайте частоту, тяжесть, обнаруживаемость и охват. Критическое автоматическое действие может потребовать немедленно вернуть сценарий в режим черновика.

1. Собрать и подтвердить случай.
2. Воспроизвести на сохранённых входах.
3. Определить первый неверный этап.
4. Добавить пример в eval-набор.
5. Исправить источник, правило или интеграцию.
6. Прогнать полный набор и выпустить постепенно.

Как использовать обратную связь сотрудников

Сделайте исправление простым: рядом с черновиком CRM показать исходное и предложенное значение, тип причины и поле комментария. Если форма обратной связи занимает дольше ручной работы, её перестанут заполнять.

Регулярно возвращайте команде результат: какие группы ошибок исправлены и что теперь делать иначе. Иначе сотрудники воспринимают сбор как бесполезный контроль.

Какие метрики смотреть.

Доля ошибок по причинам, время до обнаружения, повторяемость после исправления, критические случаи, количество ручных изменений и качество передачи человеку. Падение общего числа жалоб не доказывает улучшение, если клиенты просто перестали пользоваться помощником.

Журнал ошибок — это не архив неудач, а очередь доказанных улучшений. Он позволяет менять AI-менеджера по реальным данным, а не по впечатлению от последнего диалога.

Алиса может помочь спроектировать понятный журнал ошибок и связать обратную связь сотрудников с evals и релизами.