Почему бизнесу не всегда нужна самая умная нейросеть

Бизнесу не всегда нужна самая умная нейросеть, потому что ценность автоматизации определяется всем процессом, а не максимальным баллом модели. Если в CRM нет обязательных полей, каталог устарел, а задача сводится к выбору одной из пяти категорий, более дорогая модель не устранит основное ограничение.

Сначала определите сложность задачи

Сильная модель полезна, когда нужно понять длинный неоднозначный документ, сопоставить несколько источников или предложить план при неполной информации. Для извлечения телефона, определения языка, проверки структуры и стандартной маршрутизации её возможности могут быть избыточны.

Разделите процесс на этапы. Один сложный шаг не означает, что вся цепочка должна выполняться самой дорогой моделью.

Качество ограничивают входные данные

Модель не найдёт актуальную цену в старом документе и не узнает правильный статус из грязной CRM. Улучшение источника, поиска и правил часто даёт больше, чем смена модели.

Перед сравнением вариантов убедитесь, что каждый получает одинаковый контекст и использует одни источники. Иначе тест измеряет разные процессы.

Учитывайте задержку и доступность

Сложная модель может отвечать дольше. Для ночной пакетной сводки это неважно, а в голосовом диалоге дополнительная пауза разрушает разговор. У сервиса также существуют лимиты, очереди и региональные ограничения.

Планируйте поведение при таймауте: безопасный повтор, меньшая резервная модель или передача человеку. Нельзя автоматически считать неполный ответ успешным.

Полная стоимость шире цены токена

• Входные и выходные токены.
• Повторные попытки и длинные цепочки.
• Интеграции и поддержка.
• Ручная проверка результата.
• Последствия ошибок.
• Время ожидания пользователя.

Более дорогая модель может оказаться выгоднее, если резко снижает исправления. И наоборот, дешёвая модель с тремя повторами и ручной перепроверкой обходится дороже.

Риск определяет минимально необходимое качество

Для черновика внутреннего резюме допустима ошибка, которую заметит сотрудник. Для изменения платежа одного среднего процента точности недостаточно. Значимые действия всё равно ограничиваются кодом и подтверждением, какой бы сильной ни была модель.

Не используйте сильную модель как оправдание широких прав. Интеллект не равен надёжности операции.

Сравнивайте на собственных evals

1. Собрать реальные обычные и сложные случаи.
2. Задать точность, критические ошибки и формат.
3. Прогнать модели с одинаковыми входами.
4. Измерить задержку, стоимость и повторы.
5. Оценить время человеческих исправлений.
6. Выбрать минимальный вариант, проходящий пороги.

Средний балл не должен скрывать один критический класс. Результаты смотрят по сегментам: короткие, сложные, конфликтные и рискованные задачи.

Маршрутизация моделей практичнее одного выбора.

Простой классификатор обрабатывает большинство стандартных обращений. Сложные и низкоуверенные случаи переходят более сильной модели или человеку. Правила маршрута фиксируются и тестируются, чтобы система не отправляла всё в дорогой путь.

Иногда лучший выбор — вообще не использовать модель: точный расчёт, права доступа и поиск по идентификатору надёжнее реализовать кодом.

Алиса может помочь разбить процесс на этапы и сравнить модели по реальным качеству, стоимости и риску.