Машинное обучение — раздел искусственного интеллекта, в котором алгоритм не программируется под конкретное правило, а выводит закономерности из данных. Для веб-разработки это означает вполне прикладные вещи: подсказки в поиске по каталогу, рекомендации товаров, разбор входящих обращений, распознавание текста в документах. Ниже разобрано, что из этого действительно применимо на сайте компании, чего для этого нужно и в каких случаях задача решается обычным кодом дешевле.
Как это устроено в общих чертах
Обучение модели похоже на подбор правил по примерам. Алгоритму дают набор данных, он находит в них закономерности и затем применяет их к новым, ранее не встречавшимся случаям. Качество результата напрямую зависит от того, сколько данных есть и насколько они чистые: модель, обученная на противоречивых записях, воспроизводит эту противоречивость.
Основные типы обучения различаются по тому, что известно заранее:
- С учителем. В данных есть правильные ответы: письма помечены как «заявка» и «не заявка», сделки — как успешные и проваленные. Модель учится воспроизводить эту разметку. Самый частый случай в бизнес-задачах.
- Без учителя. Разметки нет, задача — найти структуру: разбить клиентов на группы по поведению, выявить нетипичные записи.
- С подкреплением. Модель учится через последовательность действий и обратную связь. В веб-проектах встречается редко.
Отдельно стоят большие языковые модели: они обучены на текстах общего назначения и применяются без собственного обучения, через формулировку задачи и подстановку данных компании. Для большинства прикладных задач на сайте сегодня это более короткий путь, чем обучение собственной модели.
Где машинное обучение применимо на сайте
Поиск и подбор в каталоге
Обычный поиск по совпадению слов плохо работает с опечатками, синонимами и профессиональной лексикой. Поиск с учётом смысла находит товар, даже если человек назвал его иначе, чем в карточке. Для каталогов с технической номенклатурой это заметное улучшение.
Рекомендации
Подбор сопутствующих товаров и блоки «с этим покупают» строятся на истории заказов. Здесь важна оговорка: рекомендации требуют накопленных данных. На каталоге с небольшим числом заказов правила, написанные вручную товароведом, работают лучше любой модели.
Обработка входящих обращений
Разбор писем и заявок: определить тему, срочность, отдел, вытащить из текста контакты и суть запроса, предложить менеджеру черновик ответа. Задача хорошо ложится на языковые модели и экономит время на первичной сортировке.
Работа с документами
Распознавание сканов, извлечение данных из счетов, накладных и договоров, сверка реквизитов. Типовая задача для компаний с большим документооборотом.
Ассистент по базе знаний
Помощник, который отвечает на вопросы по документации, регламентам и каталогу компании. Ключевое требование — ответы строятся на ваших материалах со ссылками на источник, а не на общих знаниях модели.
Модерация и фильтрация
Отсев спама в формах, проверка отзывов и комментариев, выявление подозрительных заказов.
Что нужно, чтобы это заработало
| Задача | Что требуется от компании | Чем заменяется, если данных нет |
|---|---|---|
| Рекомендации товаров | История заказов за заметный период | Ручные подборки и связи в каталоге |
| Умный поиск | Заполненные карточки с характеристиками | Синонимы и исправление опечаток в обычном поиске |
| Разбор обращений | Архив переписки и правила маршрутизации | Форма с обязательным выбором темы |
| Ассистент по базе знаний | Актуальная документация в электронном виде | Раздел вопросов и ответов на сайте |
| Обработка документов | Образцы документов и правила проверки | Шаблоны и ручная сверка |
| Прогноз спроса | Продажи по позициям за несколько сезонов | Экспертная оценка закупщика |
Данные: главное ограничение
Разговор о машинном обучении почти всегда упирается в данные. Типичная ситуация: заказы хранятся в одной системе, обращения в почте, документы на диске у бухгалтера, а часть информации существует только в голове менеджера.
Перед любым проектом мы проверяем несколько вещей: где данные лежат и в каком виде, есть ли к ним программный доступ, за какой период они накоплены, насколько они полные и непротиворечивые, есть ли в них персональные данные и какие ограничения это накладывает.
Часто выясняется, что первый разумный шаг — не модель, а наведение порядка в данных: свести источники в одно место, заполнить пропуски, устранить дубли. Эта работа полезна сама по себе и без неё любая модель даёт результат хуже, чем ожидалось.
Когда обычный код лучше
Машинное обучение уместно там, где правило трудно сформулировать явно. Если правило известно и стабильно, обычный алгоритм дешевле, быстрее и предсказуемее.
- Расчёт стоимости доставки по зонам и весу — это таблица, а не модель.
- Проверка формата телефона и почты — регулярное выражение.
- Скидка по объёму заказа — условие в коде.
- Подбор сопутствующих товаров в узком каталоге — связи, заданные товароведом.
- Ответы на десять типовых вопросов — раздел с вопросами и ответами.
Мы регулярно встречаем запрос «сделайте нам искусственный интеллект», за которым стоит задача, решаемая формой с тремя полями и правилом маршрутизации. Разбираться с этим стоит до начала проекта, а не после.
Риски и ограничения
Внедряя такие решения, мы обсуждаем с заказчиком несколько вещей заранее.
- Ошибки неизбежны. Модель даёт вероятностный ответ, а не гарантированно верный. Нужно решить, что происходит при ошибке и кто её замечает.
- Придуманные ответы. Языковые модели могут уверенно сообщать неверные сведения. Поэтому ответы строятся на ваших документах, со ссылками на источник, а в спорных случаях помощник передаёт разговор человеку.
- Персональные данные. Передача клиентских данных во внешние сервисы требует правового основания. Часть задач решается моделями, работающими на своей инфраструктуре.
- Стоимость эксплуатации. Обращения к внешним моделям тарифицируются, и цену за запрос нужно закладывать в экономику сервиса.
- Устаревание. Модель, обученная на прошлогодних данных, постепенно теряет точность. Нужен регламент проверки и переобучения.
- Человек в контуре. В задачах, где ошибка стоит денег, решение модели должно подтверждаться сотрудником.
Как мы подходим к таким проектам
Порядок работы обычно один и тот же. Сначала разбираем задачу и проверяем, не решается ли она проще. Затем смотрим, какие данные есть и в каком они состоянии. Дальше собираем небольшой пробный вариант на ограниченном объёме — он показывает реальное качество и позволяет принять решение о продолжении, не потратив бюджет целиком.
Если пробный вариант устраивает, решение доводится до рабочего: подключается к системам компании, добавляется журнал обращений, оценка ответов и передача сложных случаев человеку. Дальше — наблюдение за качеством и доработка по накопленной статистике.
Теория становится полезной, когда превращается в рабочий сервис. Мы проектируем AI-ассистентов и решения на основе искусственного интеллекта под процессы конкретной компании — напишите нам, разберём вашу задачу и данные.
Теория становится полезной, когда превращается в рабочий сервис: AI-ассистенты и агенты мы проектируем под ваши процессы, а не наоборот.
