Заголовки про «искусственный интеллект, который создаёт других ИИ» почти всегда описывают одну конкретную область — AutoML, автоматизированное машинное обучение. Речь не о самостоятельной программе, которая пишет себе подобных по собственной воле, а о наборе методов, где перебор вариантов модели выполняет не человек, а процедура поиска. Разберём, что именно автоматизируется, где это экономит недели работы, а где приводит к моделям, которые хорошо смотрятся в отчёте и рассыпаются на реальных данных.
Что такое AutoML на самом деле
AutoML (Automated Machine Learning) — автоматизация шагов, из которых складывается работа над предсказательной моделью: подготовка данных, построение признаков, выбор алгоритма, настройка его параметров, оценка качества. Раньше специалист вручную пробовал градиентный бустинг, затем случайный лес, затем линейную модель, к каждой подбирал настройки и сравнивал результаты. Теперь он описывает задачу и метрику, а система прогоняет десятки и сотни конфигураций и возвращает лучшую по заданному критерию.
Формально это задача оптимизации. Есть пространство возможных моделей и настроек, есть функция качества, есть ограничение по времени и вычислительным ресурсам — нужно найти в этом пространстве хорошую точку. Способы поиска разные: случайный перебор, байесовская оптимизация, эволюционные алгоритмы, обучение с подкреплением. Общее у них одно — решение о том, какую конфигурацию попробовать следующей, принимает алгоритм, а не человек.
Отсюда и формулировка «ИИ создаёт ИИ»: программа действительно порождает другие программы, то есть модели. Но постановку задачи, выбор источников данных и трактовку результата она на себя не берёт.
Из чего состоит автоматизированный конвейер
Полноценный AutoML-инструмент закрывает несколько этапов подряд, а не только подбор параметров:
- Подготовка данных. Заполнение пропусков, кодирование категориальных признаков, приведение шкал, отсечение выбросов по типовым правилам.
- Построение признаков. Автоматическая генерация производных величин: агрегаты по группам, разности дат, частоты значений, взаимодействия между колонками.
- Выбор семейства моделей. Сравнение линейных моделей, деревьев, бустингов, ближайших соседей, нейросетей на одном и том же разбиении данных.
- Настройка гиперпараметров. Глубина деревьев, скорость обучения, регуляризация, размер батча — то, что нельзя вывести из данных напрямую и приходится подбирать.
- Ансамблирование. Объединение нескольких моделей в одну композицию, которая обычно точнее каждой из составляющих.
- Проверка. Кросс-валидация, отложенная выборка, отчёт по нескольким метрикам сразу.
Практическая ценность здесь не в том, что машина «умнее» специалиста, а в том, что она не устаёт. Перебрать триста комбинаций за ночь для алгоритма — обычная работа, для человека — месяц с потерей внимания к концу.
Поиск архитектуры нейросети
Отдельная ветка этой темы — NAS, поиск архитектуры нейронной сети. Здесь автоматизируется не подбор настроек готовой модели, а сама структура: сколько слоёв, какие операции в каждом блоке, как блоки соединяются между собой. Управляющий алгоритм предлагает вариант архитектуры, тот обучается на данных, полученное качество возвращается обратно как сигнал, и следующее предложение строится с учётом накопленной истории.
Главная сложность метода — стоимость. Каждая проверка требует обучения сети, а сетей нужно проверить много. Поэтому в ходу приёмы, которые удешевляют перебор: обучение на уменьшенных выборках, ранняя остановка заведомо слабых вариантов, разделение весов между кандидатами, когда все архитектуры считаются частями одной большой сети. Несколько известных семейств моделей для классификации изображений получены именно так, а не придуманы вручную.
Для прикладных задач бизнеса NAS нужен редко. Гораздо чаще выгоднее взять предобученную сеть и дообучить её на своих данных: это дешевле на порядки и обычно точнее, чем архитектура, найденная поиском на небольшом наборе.
Что автоматика берёт на себя, а что остаётся человеку
Самая частая ошибка при обсуждении AutoML — считать, что он закрывает проект целиком. Ниже разложено по этапам, где автоматика работает, а где решение принимает специалист.
| Этап работы | Что делает автоматика | Что остаётся за человеком |
|---|---|---|
| Постановка задачи | Ничего | Перевод вопроса бизнеса в измеримую величину и выбор метрики |
| Сбор данных | Почти ничего | Источники, права на использование, полнота и честность выборки |
| Очистка и признаки | Типовые преобразования и производные величины | Смысловые признаки, которые знает только предметный специалист |
| Выбор алгоритма | Перебор семейств моделей на равных условиях | Ограничения по скорости ответа, объяснимости, лицензиям |
| Гиперпараметры | Полностью | Бюджет времени и вычислений |
| Проверка качества | Кросс-валидация по заданной схеме | Схема разбиения, защита от утечек, проверка на свежих данных |
| Внедрение | Экспорт готовой модели | Интеграция в продукт, мониторинг, регламент переобучения |
| Ответственность за решение | Ничего | Целиком |
Где автоматизация даёт результат
Лучше всего AutoML показывает себя на табличных данных — там, где строки это объекты, а колонки их свойства. Типичные задачи такого рода: прогноз спроса по товарным позициям, оценка вероятности оттока клиента, скоринг заявок, классификация обращений в поддержку по темам, отбор подозрительных операций для ручной проверки.
Отдельная польза — быстрая базовая модель. Прежде чем вкладываться в долгую разработку, полезно за день получить ответ на вопрос «а есть ли вообще сигнал в этих данных». Если автоматический перебор не выбирается за пределы качества простейшего правила, дело почти всегда в данных, а не в алгоритме: не хватает наблюдений, разметка противоречива, нужный фактор просто не собирается.
С текстами, изображениями и звуком картина другая. Там основную работу делают предобученные модели, и автоматизация сводится к подбору режима дообучения, а не к выбору архитектуры с нуля.
Ограничения, о которых лучше знать заранее
- Утечка целевой переменной. Если в данные попал признак, который в реальности становится известен позже предсказываемого события, автоматика радостно найдёт его и покажет отличные метрики. На проде такая модель бесполезна.
- Переобучение на валидации. Чем больше конфигураций перебрано, тем выше шанс, что лучшая из них хороша случайно. Нужна отдельная выборка, которую поиск вообще не видел.
- Объяснимость. Ансамбль из десятка моделей трудно объяснить проверяющему или клиенту. Если решение влияет на людей, простая и понятная модель может оказаться предпочтительнее точной.
- Дрейф данных. Модель отражает период, на котором обучалась. Меняется ассортимент, сезон, поведение аудитории — качество падает без единой правки кода.
- Стоимость вычислений. Перебор оплачивается временем процессоров. Ограничение бюджета задаётся заранее, иначе поиск способен занять любое доступное время.
Как мы подходим к таким задачам
Порядок работы у нас один и не меняется от проекта к проекту. Сначала формулируем, какое решение будет приниматься на основе прогноза и что считается ошибкой: без этого нельзя выбрать метрику. Затем смотрим данные глазами — сколько строк, сколько пропусков, как заполняются справочники, кто и когда вносит записи. На этом шаге чаще всего выясняется, что половина нужных полей заполняется вручную и через раз.
Дальше строим простую базовую модель и фиксируем её качество как точку отсчёта. Только после этого запускаем автоматический перебор — и сравниваем не с нулём, а с базой. Отобранную модель разбираем вручную: смотрим, на какие признаки она опирается, и проверяем, нет ли среди них подозрительных. Финальная часть — эксплуатация: где живёт модель, как отдаёт ответ, что логируется, по какому сигналу её переобучают.
Что подготовить до старта
- Сформулированный вопрос: что предсказываем и какое действие последует за ответом.
- Выгрузку исторических данных за период, покрывающий сезонность.
- Описание полей — кто их заполняет, когда и по какому правилу.
- Понимание, где ошибка дороже: пропустить событие или объявить его там, где его нет.
- Требования к ответу: онлайн или пакетный расчёт, допустимая задержка, нужна ли объяснимость.
- Ответ на вопрос, кто будет сопровождать модель после запуска.
Этого набора хватает, чтобы за короткий срок понять, решается задача автоматизированными средствами или требует ручной работы с данными.
Если у вас накопились данные и есть вопрос, ответ на который хочется получать автоматически, начните с обсуждения задачи. Мы посмотрим выгрузку, оценим применимость машинного обучения и предложим порядок шагов: разработка решений с искусственным интеллектом.
