Языковых моделей на рынке много, и различаются они не только качеством ответов: скоростью, ценой за объём, длиной контекста, условиями обработки данных, наличием русского языка в обучении. Выбор «самой сильной» модели под любую задачу почти всегда означает переплату и лишние задержки в интерфейсе. Разберём, как подбирать модель под конкретную задачу, как сравнивать варианты на своих данных и как построить систему так, чтобы смена модели не превращалась в переписывание сервиса.
От задачи, а не от модели
Первый шаг — сформулировать, что именно должна делать модель и по какому признаку вы поймёте, что она справилась. Формулировка «внедрить искусственный интеллект» задачей не является: под ней могут скрываться десяток разных сценариев с разными требованиями.
Полезно разложить задачу на четыре характеристики: насколько важна точность, насколько важна скорость ответа, какой объём запросов ожидается в месяц и насколько чувствительны данные. Эти четыре ответа сужают выбор сильнее, чем любые рейтинги.
Типовые задачи и подходящие решения
| Задача | Что важнее всего | Разумный выбор | Чем проверять качество |
|---|---|---|---|
| Классификация обращений по темам | Скорость и стоимость на объёме | Небольшая быстрая модель | Доля верных категорий на размеченной выборке |
| Черновик текста, письма, описания | Качество формулировок | Модель среднего или старшего уровня | Сколько правок вносит редактор |
| Разбор длинных документов | Работа с большим объёмом контекста | Модель с длинным окном контекста | Точность извлечённых полей и ссылок на источник |
| Помощь в написании кода | Точность и понимание контекста проекта | Старшая модель, рассуждающая пошагово | Доля решений, проходящих тесты |
| Ответы клиентам в чате | Скорость и предсказуемость | Быстрая модель с опорой на базу знаний | Доля ответов без вмешательства оператора |
| Массовая обработка каталога | Стоимость на объёме | Недорогая модель плюс автоматические проверки | Выборочный контроль результатов |
| Данные, которые нельзя передавать наружу | Место обработки | Модель, разворачиваемая в собственном контуре | Соответствие требованиям и приемлемое качество |
Что учитывать помимо качества ответов
- Стоимость на реальном объёме. Цена за один вызов ни о чём не говорит. Считать нужно месячный объём: сколько запросов, какой средний размер входных и выходных данных.
- Скорость ответа. Для интерфейса, где человек ждёт, задержка важнее, чем идеальная формулировка. Для ночной пакетной обработки задержка не важна вовсе.
- Условия обработки данных. Где физически обрабатываются запросы, используются ли они для обучения, что написано в договоре, какие требования предъявляет ваша отрасль.
- Длина контекста. Модель с большим окном позволяет передать документ целиком, но передача лишнего увеличивает и стоимость, и время ответа.
- Стабильность интерфейса. Как часто поставщик меняет способ обращения к сервису и как долго поддерживает предыдущие версии.
- Доступность. Ограничения по количеству запросов, поведение при пиковой нагрузке, наличие резервного варианта.
- Работа с русским языком. Модели различаются по качеству на русском заметно сильнее, чем на английском, — это проверяется только на своих данных.
Как сравнивать модели на своих задачах
Публичные рейтинги полезны для первичного отбора, но решение по ним принимать нельзя: они измеряют средние показатели на чужих задачах. Рабочий способ — небольшой собственный набор проверок.
- Соберите 20–30 типичных запросов из реальной практики, включая неудобные и пограничные случаи.
- Для каждого запишите ожидаемый результат или критерий приемлемости.
- Прогоните набор через два-три кандидата, не меняя формулировку задания.
- Оцените результаты вслепую: пусть проверяющий не знает, какая модель дала какой ответ.
- Замерьте скорость и посчитайте стоимость на прогнозируемом месячном объёме.
- Повторите проверку при смене модели поставщиком или при заметном изменении задачи.
Такой набор проверок стоит хранить вместе с кодом. Он окупается при первом же обновлении: обновление модели поставщиком иногда улучшает одни сценарии и ухудшает другие, и без набора это обнаруживается только по жалобам пользователей.
Не всегда нужна модель посильнее
Частая ситуация: качество не устраивает, и первым делом переходят на более дорогую модель. Обычно раньше стоит проверить три вещи. Первое — формулировку задания: точное описание формата ответа и примеры дают прирост чаще, чем смена модели. Второе — контекст: если модель не знает ваших цен и правил, она их и не назовёт, нужна подстановка данных из справочника или базы знаний. Третье — постобработку: проверка формата, сверка цифр с источником, повторный запрос при несоответствии.
Обратная ситуация тоже встречается: для простой классификации берут старшую модель, платят за неё как за сложный сценарий и получают лишнюю задержку в интерфейсе. Разумный подход — распределить задачи по уровням и держать связку из нескольких моделей.
Проектируйте так, чтобы модель можно было заменить
Рынок меняется быстро: появляются новые версии, меняются цены, поставщик может стать недоступен. Поэтому обращение к модели стоит держать за одной границей в коде — отдельным слоем, через который проходят все запросы. Тогда переход на другую модель становится вопросом настройки, а не переписывания сервиса.
В этот же слой удобно вынести технические вещи, которые понадобятся в любом случае:
- Журнал запросов и ответов для разбора спорных случаев.
- Ограничение частоты и повтор при временных ошибках.
- Кэширование одинаковых запросов, чтобы не платить дважды.
- Учёт расхода по подразделениям или сценариям.
- Переключение на запасную модель при недоступности основной.
- Правила фильтрации данных, которые нельзя отправлять наружу.
Когда модель не нужна вовсе
Часть задач решается без языковых моделей и решается лучше: точный поиск по справочнику, расчёт по формуле, проверка формата документа, сопоставление по идентификатору. Модель хороша там, где входные данные неформализованы — свободный текст обращения, письмо, распознанный документ. Если данные структурированы, обычная логика будет дешевле, быстрее и предсказуемее, а результат не придётся перепроверять.
Нужна помощь
Мы подбираем модель под конкретный сценарий, собираем набор проверок на ваших данных и внедряем решение так, чтобы поставщика можно было сменить без переделки: разработаем AI-ассистента под вашу задачу и покажем расчёт стоимости на реальном объёме запросов.
