Какие задачи можно отдать дешёвой модели без потери качества

Дешёвой AI-модели можно без потери качества отдать задачи, где смысловая вариативность ограничена, а правильный результат легко проверить. Цена модели сама по себе ничего не гарантирует: сначала нужен собственный набор примеров и порог ошибок. Для стандартного потока маленькая модель нередко достаточна.

Классификация по стабильным категориям

Определить тему обращения, тип документа, язык или маршрут в один из известных отделов. Категории должны быть взаимоисключающими настолько, насколько это возможно, с описанием и примерами.

Если обращение содержит несколько задач или не подходит никуда, модель ставит статус неопределённости, а не выбирает ближайший вариант любой ценой.

Извлечение структурированных полей

Название компании, регион, количество, срок и упомянутый продукт можно извлечь из свободного текста. Схема ограничивает типы, а код проверяет даты, числа и справочники.

Модель не заполняет отсутствующее поле догадкой. Для каждого важного значения полезно сохранять исходный фрагмент, чтобы сотрудник мог быстро проверить.

Нормализация и простое преобразование

• Привести название к утверждённому справочнику.
• Удалить повторяющиеся подписи письма.
• Разделить длинное обращение на пункты.
• Перевести текст при невысоком риске.
• Сформировать короткое резюме по шаблону.
• Преобразовать результат в заданный JSON.

Точный расчёт и валидация формата остаются коду. Если нормализация влияет на договор или платёж, нужна дополнительная проверка.

Черновики стандартных сообщений

Подтверждение получения, запрос недостающего параметра и внутреннее резюме создаются по утверждённым фактам. Модель не добавляет скидку, срок или обещание. Клиентские сообщения сначала можно показывать сотруднику.

Для сложной жалобы, переговоров и позиции бренда маленькой модели может не хватить контекста и нюанса; такие случаи маршрутизируются человеку или более сильной модели.

Что не стоит отдавать только по цене

Многошаговое планирование, противоречивые документы, юридически значимое толкование, высокорисковые решения и автономное изменение систем. Даже большая модель не получает эти полномочия без правил и контроля, а дешёвая не должна становиться способом сэкономить на безопасности.

Как проверить отсутствие потери качества

1. Собрать реальные простые, пограничные и опасные случаи.
2. Задать правильные поля и допустимые ответы.
3. Сравнить маленькую и базовую модель на одинаковых входах.
4. Отдельно посчитать критические ошибки.
5. Измерить задержку, стоимость и исправления.
6. Настроить маршрут для непройденных сегментов.

Совпадение среднего балла недостаточно. Маленькая модель может хорошо работать на 90 процентах стандартных заявок и ошибаться на длинных. Тогда её используют только в первом сегменте.

Маршрутизация должна быть наблюдаемой.

Причина передачи записывается: неизвестная категория, длинный контекст, конфликт источников, низкая уверенность или высокий риск. Сильная модель получает исходные данные, а не только упрощённый пересказ.

Доля переданных задач и качество каждого маршрута отслеживаются. Если почти всё уходит дальше, каскад добавляет стоимость без пользы.

Пересматривайте выбор после изменений.

Новая версия модели, другой поток заявок и изменение категорий требуют повторных evals. То, что работало на прошлогодней выборке, может не покрывать новый продукт.

Дешёвая модель полезна не как компромисс, а как специализированный инструмент. Чёткая задача и проверка позволяют получить то же нужное качество с меньшими расходами.

Алиса может помочь выделить стандартный сегмент и проверить маленькую модель на реальных заявках до массового переключения.