Самообучающийся AI или опасная автоматика: где должен оставаться человек

Выражение «самообучающийся AI» часто создаёт неверное ожидание: будто агент анализирует каждую ошибку, меняет себя и сразу становится лучше. В рабочей системе между обратной связью и новым поведением должен существовать контролируемый цикл. Иначе случайное исправление сотрудника или вредный ввод пользователя превращается в общее правило.

Что может означать самообучение

Под одним словом скрываются разные механизмы. Система может обновить базу знаний, добавить подтверждённый пример в поиск, скорректировать инструкцию, изменить порог маршрутизации или позднее дообучить модель на отобранных данных. У каждого изменения свой риск и способ проверки.

Чаще всего бизнесу достаточно обновляемых источников и eval-набора. Пересобирать модель после каждого нового диалога не требуется.

Безопасная обратная связь не меняет всё сразу

Менеджер исправил артикул в CRM. Сначала система сохраняет исходное и корректное значение, затем проверяется причина: агент неверно распознал речь, поиск вернул не тот товар или сотрудник применил исключение. Только подтверждённая причина приводит к изменению.

• Сигнал собирается с контекстом.
• Исправление подтверждается владельцем.
• Создаётся контрольный пример.
• Изменение тестируется на старых случаях.
• Новая версия выпускается постепенно.
• Есть возможность отката.

Что допустимо автоматизировать

Можно автоматически добавлять анонимизированные случаи в очередь разбора, пересчитывать метрики, обнаруживать новые группы ошибок и обновлять данные из утверждённого каталога. Безопасные настройки иногда меняются в заранее заданных пределах после прохождения тестов.

Например, система может снизить приоритет источника, который регулярно недоступен, но не должна сама назначить неизвестный сайт главным источником цены.

Где человек должен оставаться

Человек утверждает изменение бизнес-правила, интерпретацию спорной обратной связи, расширение прав и работу с чувствительными данными. Он принимает решение, если ошибка затрагивает оплату, договор, здоровье, безопасность или равный доступ.

Человеческое участие полезно не как формальная кнопка. Ответственный видит исходный случай, предполагаемое изменение, результаты evals и возможные последствия.

Опасность замкнутого контура

Если AI создаёт ответы, сам оценивает их, выбирает обучающие примеры и меняет правила, одна ошибка может усилиться. Модель-судья часто разделяет склонности модели-автора. Нужны независимые источники, программные ограничения и выборочная экспертная проверка.

Отдельно защищайтесь от намеренной обратной связи: пользователь может пытаться научить агента выдавать скидку или раскрывать данные.

Как построить контролируемый цикл

1. Определить допустимые виды изменений.
2. Назначить владельца каждого правила и источника.
3. Собирать обратную связь с происхождением.
4. Проверять качество и права на использование данных.
5. Тестировать кандидата на контрольном наборе.
6. Выпускать версию на части потока и наблюдать.

Версии инструкций, данных и модели фиксируются. Если качество ухудшилось, команда может вернуться к прошлой конфигурации и воспроизвести причину.

Как понять, что автономности слишком много.

Невозможно объяснить, почему изменился ответ; сотрудники не знают текущих правил; метрика растёт, а жалобы тоже; агент расширяет действие без явного решения. В таком случае автоматические изменения останавливают и возвращают режим предложений.

Полезная система обучается организационно: компания быстрее превращает подтверждённые ошибки в проверенные улучшения. Это важнее образа модели, которая сама знает, как ей стать лучше.

Алиса может помочь спроектировать безопасный цикл обратной связи и определить точки обязательного человеческого решения.