Ограничивать действия AI-агента нужно на нескольких уровнях: доступные данные, набор инструментов, параметры каждой операции, лимиты и подтверждение человека. Инструкция модели помогает выбрать правильное поведение, но не заменяет системные права. Даже уверенный и точный агент не должен иметь больше полномочий, чем требуется задаче.
Начните с перечня действий
Выпишите не общие функции «работать с CRM», а конкретные операции: найти контакт, прочитать статус, создать черновик лида, изменить сумму, отправить сообщение, удалить запись. Для каждой укажите объект, возможный ущерб, обратимость и владельца решения.
То, чего нет в разрешённом списке, недоступно по умолчанию. Новая инструкция не расширяет этот список автоматически.
Разделите уровни риска
Чтение публичной справки и подготовка внутреннего резюме имеют небольшой риск. Создание черновика обратимо и заметно сотруднику. Отправка клиенту, изменение бюджета, резерв товара и платёж создают внешние последствия.
- Низкий риск — автоматическое выполнение с журналом.
- Средний — черновик или ограниченное действие с возможностью отмены.
- Высокий — явное подтверждение ответственного.
- Запрещённый — действие не предоставляется агенту.
Уровень зависит от бизнеса. Ошибка в теге и в медицинском совете не сравниваются одной шкалой.
Создавайте узкие инструменты
Инструмент принимает только необходимые поля, проверяет типы и права и возвращает структурированный результат. Вместо «обновить сделку» существуют отдельные функции для разрешённых изменений. Суммы, количество и получатели имеют максимальные пределы.
Идентификатор объекта получает сервер из проверенного контекста, а не из случайного текста внешней страницы. Повторный вызов защищён уникальным ключом.
Когда обязательно подтверждение человека
При необратимом или трудно исправимом действии, значимой сумме, юридическом обязательстве, персональном обещании, раскрытии данных, конфликте источников и новом типе сценария. Человек нужен и по прямой просьбе клиента.
Высокая уверенность модели не отменяет подтверждение. Она оценивает собственный ответ несовершенно и не несёт последствий.
Как выглядит полезное подтверждение
Покажите, что именно произойдёт: объект, старое и новое значение, сумму, адресата, источник параметров и возможность отмены. Кнопка «Разрешить» после общего описания создаёт усталость и формальное согласие.
Несколько одинаковых низкорисковых операций можно подтверждать пакетом с пределом, но внутри остаётся список элементов и исключений.
Не превращайте человека в декорацию
Если сотрудник получает сотни запросов и не способен их прочитать, контроль не работает. Сначала сузьте автоматизируемый поток, улучшите приоритизацию и показывайте только спорные или рискованные случаи.
Измеряйте время на проверку, долю исправлений и случаи ошибочного одобрения. Интерфейс должен позволять отклонить и объяснить причину.
Как расширять автономность.
- Теневой режим без действий.
- Черновики с исправлениями сотрудника.
- Узкая обратимая операция.
- Evals на обычных и опасных случаях.
- Ограниченный выпуск на части потока.
- Расширение одного права после анализа.
При ухудшении качества право отзывается без остановки всего помощника. Версия политики и инструментов фиксируется в журнале.
Что проверять после запуска.
Необычные последовательности действий, рост отказов, повторные вызовы, превышение лимитов, жалобы и операции после внешнего контента. Сервисные аккаунты и временные токены регулярно пересматриваются.
Хорошее ограничение позволяет ответить: какое максимальное последствие одной ошибки и кто его заметит. Если последствия не ограничены, агенту дали слишком широкую роль.
Алиса может помочь составить матрицу действий и подтверждений и перевести её в узкие технические инструменты.
Комментарии
Комментариев пока нет. Будьте первым!
Оставить комментарий