Почему мощное машинное обучение обманчиво простое

…или почему то, что кажется мощным, может быть методологически ненадежным

Делиться

Тесей входит в Лабиринт, чтобы убить Минотавра, но настоящая опасность заключается не только в самом чудовище. Это риск потерять ориентацию в лабиринте настолько сложном, что найти обратный путь становится так же трудно, как и в самой битве. Именно здесь важна нить Ариадны: она олицетворяет дисциплину, необходимую для преодоления сложности, не заблудившись. В машинном обучении видимая задача может заключаться в том, чтобы превзойти метрику (Минотавра), но реальный риск кроется в лабиринте, построенном вокруг неё: скрытые предположения, ненадежные значения по умолчанию, утечка данных, вводящие в заблуждение варианты оценки, ненужная сложность и решения по предварительной обработке, которые могут создать впечатление, что модель сильнее, чем она есть на самом деле. Эта статья следует этой нити, фокусируясь на том, как кажущиеся сильными результаты могут появиться по неправильным причинам, и почему сохранение методологической направленности часто важнее, чем выбор наиболее сложного пути.

Проверка реальности

В машинном обучении нередко можно встретить ранние прототипы, демонстрирующие впечатляющие показатели. На первый взгляд, это может указывать на реальную перспективу: модель кажется многообещающей, сигнал — сильным, а результаты — обнадеживающими. Но на практике одних только высоких показателей недостаточно, чтобы утверждать, что модель действительно понимает лежащее в её основе явление, хорошо обобщает данные, является устойчивой или готова к внедрению в реальных условиях. Существует несколько методологических причин, по которым модель может казаться гораздо более сильной, чем она есть на самом деле.

Это особенно тревожно, когда кандидаты на должности в области анализа данных оцениваются в процессе подбора персонала или рекрутинга в основном по списку инструментов, библиотек Python или модных терминов в сфере ИИ. Такой отбор может вознаграждать знакомство с поверхностными аспектами машинного обучения, игнорируя при этом более глубокий навык, имеющий наибольшее значение: способность подвергать сомнению результаты, выявлять методологические недостатки и распознавать ситуации, когда высокая производительность может быть иллюзией. Если проблема не в самом Минотавре, а в риске заблудиться в лабиринте, построенном вокруг него, то скрытые предположения, уязвимые значения по умолчанию и ловушки оценки имеют гораздо большее значение, чем способность запоминать названия инструментов. В этом смысле запоминать названия гораздо проще, чем развивать настоящее научное суждение.

Как утверждают Каталини и др. [1], реальным узким местом в мире, насыщенном ИИ, может стать не генерация результатов, а их проверка. В этом смысле главная задача уже не сводится к простому созданию быстрого и недорогого кода и убедительных результатов, а к развитию методологической дисциплины, необходимой для оценки того, действительно ли эти результаты заслуживают доверия.

В этой статье я постараюсь объяснить, почему впечатляющие показатели не обязательно означают, что модель готова к развертыванию в реальных условиях. Такие явления, как утечка данных, удобный выбор метрик, ненадежные настройки по умолчанию, неудачная схема разделения выборки, неподходящая перекрестная проверка, неверная спецификация целевой переменной, неравномерное покрытие данных, дисбаланс выборки и выбор методов предварительной обработки, скрывающих нестабильность или крайности, могут создавать иллюзию того, что все работает хорошо, хотя это не так, независимо от используемой библиотеки или методологии.

Чтобы конкретизировать эти идеи, я начну с примера из практики, который демонстрирует распространенные ошибки при моделировании временных рядов в условиях реалистичных данных. Дополнительные примеры можно будет рассмотреть позже, чтобы еще больше проиллюстрировать и расширить эти методологические аспекты.

В качестве примера рассматривается прогнозирование подразумеваемой волатильности с использованием панельных данных. Цель этой задачи — предсказать ожидания рынка относительно будущей изменчивости, заложенной в ценах опционов. Она особенно полезна, поскольку показывает, как определение целевой переменной, структура панели и особенности на уровне дат могут влиять на кажущуюся предсказуемость, вызывать временную утечку при непоследовательных схемах проверки и подвергать модели прогнозирования чувствительности к режиму.

Некоторые скрытые ловушки машинного обучения

Любой алгоритм строится на наборе предположений и гипотез, которые нельзя игнорировать. В эпоху, когда код дешев, эта интуиция по-прежнему важна : реальная ценность заключается не только в быстром получении результатов, но и в понимании того, когда результатам можно доверять, когда нарушаются предположения и когда кажущаяся надежной модель опирается на ненадежную методологию.

Вкратце, моя цель — предложить практические советы по наиболее распространенным проблемам, которые ослабляют эффективность внедрения на практике:

• Ловушка стандартного подхода: пассивное принятие стандартных вариантов без анализа скрытых рисков, технических сложностей и предположений, которые они могут нести.
• Скрытая опасность утечки данных: когда информация из невидимых данных попадает в процесс обучения, проверки или предварительной обработки модели через ошибочные разбиения, неподходящую перекрестную проверку или преобразования полных выборок, создавая впечатление, что производительность выше, чем она есть на самом деле.
• «Миражный показатель»: когда привлекательный показатель эффективности создает видимость успеха, маскируя при этом важные недостатки, такие как смещение масштаба, плохое соответствие целевым показателям или ограниченная экономическая значимость.
• Усилитель сложности : когда добавление сложности в конвейер моделирования увеличивает уязвимость больше, чем улучшает реальную точность прогнозирования.
• Реальность возвращения к среднему значению : когда кажущаяся прогностическая способность отчасти является просто естественным возвратом к среднему поведению (т.е., тенденцией необычно экстремальных значений со временем возвращаться к более типичным уровням).
• Проблема безбилетника: ловушка управления, при которой выгоды от модели достаются одной стороне, в то время как издержки неудачи ложатся на другую.

Это не исчерпывающий список, а скорее набор примеров, иллюстрирующих некоторые скрытые сложности в задачах машинного обучения, которые могут сильно повлиять на их продуктивность и долгосрочный успех. Более подробный обзор распространенных ошибок в машинном обучении для различных типов задач см. в [5].

Прогнозирование подразумеваемой волатильности

Подразумеваемая волатильность (IV) — это показатель, рассчитываемый на основе цен опционов, который отражает ожидания рынка относительно будущей неопределенности или изменчивости цены базового актива. Она важна, поскольку играет центральную роль в ценообразовании опционов, управлении рисками и принятии торговых решений, и часто рассматривается как прогнозное обобщение рыночных условий.

Для исследования подразумеваемой волатильности мы используем набор данных, полученный с Kaggle, содержащий ежедневные наблюдения цепочки опционов SPY (2010–2018 гг.) из Options DX [4]. Данные имеют панельную структуру (то есть, повторяющиеся наблюдения многих отдельных опционных контрактов во времени), поэтому каждая строка соответствует одному опционному контракту ( option_id ), наблюдаемому в определенную дату. Набор данных включает подразумеваемую волатильность (IV), дельту, количество дней до истечения срока (DTE), доходность индекса S&P 500 (SPY_ret) и значения VIX.

Далее следует ряд подводных камней, которые следует рассматривать не как отдельные технические ошибки, а как взаимосвязанные механизмы, благодаря которым модель может казаться более надежной, чем она есть на самом деле.

Недостаток по умолчанию

В поведенческой экономике это обычно описывается как предвзятость к статус-кво или эффект по умолчанию : лица, принимающие решения, непропорционально часто остаются с заранее выбранным вариантом, даже когда смена варианта проста, а формулировка, в принципе, не имеет значения [2]. В машинном обучении аналогичная проблема возникает, когда настройки по умолчанию рассматриваются как методологически нейтральные. Это не так. Настройки по умолчанию кодируют предположения о структуре данных, цели задачи и значении хорошей производительности.

Случай с подразумеваемой волатильностью (IV) наглядно это иллюстрирует. Данные панели опционов не являются стандартной табличной задачей, в которой строки можно безопасно перемешать перед разделением. Наблюдения сгруппированы по дате, контракты с похожими ценами исполнения и датами истечения срока действия тесно связаны, а общерыночные предикторы, такие как доходность SPY и VIX, являются общими для всех контрактов, наблюдаемых в один и тот же день. В этих условиях стандартное случайное разделение с shuffle=True не является безобидным выбором: оно может поместить контракты с одной и той же даты как в обучающий, так и в тестовый наборы, позволяя модели использовать общую структуру рынка, а не изучать взаимосвязи, которые действительно обобщаются во времени [3].

Вторая проблема связана с пассивным использованием общих настроек библиотеки при разработке модели. Гиперпараметры по умолчанию предназначены в качестве общих отправных точек, а не как гарантия пригодности для конкретного набора данных. В контексте метода инструментальных переменных это важно, поскольку кажущаяся производительность более гибких моделей (таких как нейронные сети и XGBoost) сильно зависит от того, как разработана оценка. Настройка гиперпараметров может быть необходима, но она должна проводиться без загрязнения окончательной выборки. После того, как тестовый набор используется для выбора модели, а затем повторно используется для окончательного отчета, он больше не служит допустимым эталоном для оценки вне выборки.

Ошибка выбора по умолчанию также возникает, когда варианты по умолчанию предполагают условия, плохо соответствующие задаче. Стандартные метрики регрессии, такие как MSE, вознаграждают численную близость, однако в данном случае это может не совпадать с более важным вопросом прогнозирования, например, с отражением относительных изменений IV или правильным направлением движения по контрактам. Аналогично, стандартные рабочие процессы машинного обучения часто ведут себя так, как если бы данные были независимыми и одинаково распределенными, даже несмотря на то, что наблюдения в панели опционов упорядочены во времени, зависимы в поперечном сечении и чувствительны к режиму. В этом смысле варианты по умолчанию становятся опасными не потому, что они всегда неверны, а потому, что их слишком легко принять за нейтральные варианты, когда они могут быть структурно несовместимы с задачей прогнозирования.

Скрытая опасность утечки данных

При утечке данных показатели производительности могут выглядеть превосходно, но они вводят в заблуждение: вместо измерения истинной прогностической способности они отражают косвенный доступ модели к информации, которая была бы недоступна в реальных условиях прогнозирования. Я более подробно обсуждаю это в [6].

Чтобы продемонстрировать последствия утечки данных, мы воспроизводим эксперимент Арратии и др. [3]. Мы следуем той же логике моделирования: наблюдения на уровне контракта, индексированные по option_id и date, стандартные объясняющие переменные (spy_ret, delta, dte, vix) и целевая переменная изменения IV на один шаг. В частности, наша основная обучающая целевая переменная — target_diff = IV_t − IV_{t-1}, вычисленная для разных моделей и разного количества переменных: двухпризнаковая (SPY_ret, Delta), трехпризнаковая (SPY_ret, Delta, DTE) и четырехпризнаковая (SPY_ret, Delta, DTE, VIX).

На рисунке 2 мы видим:

• При случайном разделении сложные модели (особенно XGBoost) демонстрируют явные преимущества и лучшие показатели R²/взвешенной точности. При хронологическом разделении это преимущество уменьшается или исчезает; несколько сложных моделей остаются ниже эталонного уровня (отрицательный прирост).
• Это указывает на то, что часть эффективности в случайном режиме была обусловлена общей структурой обучающей и тестовой выборок (одна и та же дата / одна и та же ежедневная рыночная информация), а не реальной способностью к обобщению на будущее.
• Добавление новых функций не гарантирует существенного улучшения результатов вне выборки, если функция разделения данных учитывает утечки.

Как видно на рисунке 2, в эксперименте используются две базовые модели (одна из которых будет более подробно рассмотрена в следующих разделах). Базовая модель с запоминающим ключом намеренно упрощена: она не моделирует динамику подразумеваемой волатильности, а просто хранит среднее целевое значение, связанное с повторяющимися ключами на уровне дат (SPY_ret, VIX). Ее назначение скорее диагностическое, чем прогностическое.

• Поскольку переменные инструментальных переменных в основном представляют собой сигналы уровня дня, общие для многих вариантов, случайное построчное разбиение часто помещает тесно связанные наблюдения с одними и теми же датами как в обучающую, так и в тестовую выборки. В результате, базовый уровень с запоминающими ключами может достигать обманчиво высоких показателей на тестовых данных за счет сопоставления повторяющихся ключей, а не за счет изучения истинной динамики вне выборки.

На рисунке 2 видно, что при случайном построчном разделении базовая модель с запоминающим ключом показывает удивительно хорошие результаты, что говорит о том, что модель извлекает выгоду из повторяющейся информации за один день, а не изучая истинную динамику прогнозирования. После хронологического разделения данных это преимущество исчезает: производительность снижается. Эта закономерность указывает на то, что ее кажущаяся сила при случайном разделении в значительной степени обусловлена перекрытием, подобным утечке, а не истинной прогностической способностью.

Усилитель сложности

При использовании схем валидации, подверженных утечкам информации или иным образом допускающих ошибки, более сложные модели могут демонстрировать значительное превосходство над этим эталоном. Однако часть этого кажущегося превосходства может быть обусловлена не более глубоким пониманием процесса волатильности, а их большей способностью поглощать ложную структуру , общую информацию на уровне дат или повторяющиеся рыночные условия. После того, как разделение становится согласованным по времени и протокол оценки корректируется, преимущество нейронных сетей и XGBoost резко сокращается и может даже исчезнуть. Дело не в том, что сложные модели по своей природе хуже, а в том, что их гибкость может усиливать методологические недостатки и создавать впечатление высокой прогностической способности на основе слабых данных.

Аналогичное предостережение относится и к моделям на основе временных рядов (TSFM), которые обещают прогнозы без предварительного обучения или тонкой настройки. Их привлекательность заключается именно в том, что они предварительно обучены на обширных наборах временных рядов, взятых из множества наборов данных. Мейер и др. [7] указывают, что оценка TSFM особенно уязвима для утечки информации как из-за (1) прямого перекрытия обучающих и тестовых выборок, когда идентичные или почти идентичные выборки появляются в обучающих и оценочных данных, так и из-за (2) временного перекрытия коррелированных рядов, когда разные ряды все еще имеют общую временную структуру. Риск заключается в том, что эти предварительно обученные модели могут использовать повторяющуюся структуру и общую временную информацию из исходных наборов данных, точный состав которых часто неясен для конечного пользователя, из-за чего слабая проверка может выглядеть как подлинный прогресс прогнозирования.

Здесь важна базовая модель. Надежная базовая модель ценна не потому, что она проста, а потому, что она предоставляет значимую точку отсчета для оценки того, действительно ли добавление сложности приносит дополнительную ценность. В контексте подразумеваемой волатильности базовая модель, такая как модель Халла и Уайта с минимальной дисперсией-дельтой (рис. 3), особенно полезна, поскольку она экономически интерпретируема, основана на логике предметной области и соответствует структуре задачи. Выбор хорошей базовой модели важен, потому что слабые базовые модели заставляют почти любую сложную модель выглядеть впечатляюще , тогда как сильная базовая модель заставляет сравнение быть честным. Если сложная модель превосходит только тривиальный эталон, результат мало что говорит; если она не может последовательно превзойти хорошо выбранную, теоретически обоснованную базовую модель при оценке с учетом утечек, то ее кажущиеся преимущества вряд ли отражают реальный прогресс в прогнозировании (см. рис. 2). В этом смысле качество базовой модели определяет качество утверждения.

Кроме того, переформулирование проблемы в виде классификации, а не регрессии, часто оказывается по своей сути проще, поскольку прогнозирование направления изменений менее трудоемко, чем прогнозирование их точного размера. В более широком смысле, сложность должна быть оправдана бизнес-целью , а не наличием мощных алгоритмов. Когда реальная цель состоит в поддержке практического решения, а не в оценке точной величины с максимальной точностью, более простая формулировка может быть более уместной и надежной. В противном случае, добавление сложности может стать саморазрушительным: оно увеличивает методологическую уязвимость, не обеспечивая соразмерной бизнес-ценности.

Однако даже когда выбор базового уровня или модели уместен, сравнение моделей все равно может быть искажено способом измерения самого успеха.

Метрика Миража

Метрика «Мираж» становится особенно заметной в прогнозировании подразумеваемой волатильности, когда среднеквадратная ошибка (MSE) рассматривается как основной критерий успеха. Прогноз, правильно определяющий направление движения подразумеваемой волатильности, все равно может получить худший балл, чем прогноз, который численно ближе к нулю, но указывает в неправильном направлении. В этом смысле MSE может отдавать предпочтение численной близости, а не полезности прогнозирования, маскируя такие проблемы, как плохое соответствие целевым значениям и ограниченная экономическая значимость.

Выбор целевого значения дополнительно влияет на поведение MSE:

• Разница между исходными значениями измеряет изменения в абсолютных значениях IV-баллов, тогда как
• Логарифмические разности измеряют изменения относительно исходного уровня внутривенного введения.

Эти две формулировки не являются экономически или статистически эквивалентными. В данном контексте логарифмические разности могут быть более значимыми, поскольку они уменьшают смещение масштаба, вносимое изменениями исходной волатильности , при которых контракты с высокой волатильностью вносят непропорционально большой вклад в общую ошибку. В результате модель может придавать слишком большой вес опционам с высокой волатильностью, даже когда меньшее абсолютное изменение контракта с низкой волатильностью имеет такое же или даже большее значение в относительном выражении.

По этой причине анализ выходит за рамки анализа необработанных различий IV и также рассматривает логарифмические различия, направленную классификацию и взвешенную точность как более информативные способы оценки качества модели.

На рисунке 4 на одном примере проиллюстрированы две тесно связанные идеи. Два контракта демонстрируют разные фактические изменения IV. Контракт А падает с 1,00 до 0,90, а контракт В растет с 0,20 до 0,22. Предположим, что модель выдает одинаковый прогноз в обоих случаях:

1. При использовании target_diff, MSE отдает предпочтение контракту B, поскольку предсказание численно ближе к +0,02, чем к −0,10, даже несмотря на то, что B неправильно определяет направление, а A — правильно. Это различие также подчеркнуто цветовой кодировкой на рисунке.
2. Когда же реализованные изменения выражаются в виде логарифмической доходности ( target_logret ), целевой показатель становится более сопоставимым между контрактами, поскольку отражает относительное, а не абсолютное движение, и MSE теперь отдает предпочтение варианту A, а не варианту B.
3. Наконец, после исправления значения target_logret , взвешенная метрика направления делает еще один шаг вперед: она оценивает, правильно ли модель предсказывает направление, и придает большее значение большим относительным движениям. В этом примере A получает баллы, потому что прогноз правильно предсказывает движение вниз, в то время как B не получает никаких баллов, потому что прогноз не соответствует знаку.

Главный вывод заключается в том, что как определение целевого показателя, так и выбор метрики могут существенно повлиять на то, какой прогноз покажется «лучшим».

возврат к среднему значению

Реверсия к среднему значению относится к тенденции необычно высоких или низких значений со временем возвращаться к более типичному уровню. В контексте подразумеваемой волатильности это означает, что если текущая подразумеваемая волатильность высока по сравнению с ее недавней историей, следующее изменение подразумеваемой волатильности может быть, как правило, ниже или даже отрицательным; наоборот, если текущая подразумеваемая волатильность необычно низка, следующее изменение может быть, как правило, выше. Это не обязательно подразумевает полное понимание динамики волатильности, но предполагает, что часть сигнала может исходить из простого эффекта нормализации.

Однако более точная проблема заключается не в регрессии к среднему как таковой, а в том, как методологические решения могут её усиливать. Когда многие наблюдения имеют повторяющиеся значения или когда предикторы строятся на основе средних значений, медиан или других агрегированных сводок, изменчивость может быть сжата, а локальная неоднородность может быть скрыта. В этом смысле модель может казаться более прогностической просто потому, что она использует общую структуру, динамику нормализации или центральную тенденцию, а не для изучения более богатой и устойчивой взаимосвязи.

Иными словами, проблема не в том, что подразумеваемая волатильность не содержит сигнала, а в том, что неудачная экспериментальная схема может завышать оценку того, насколько хорошо модель действительно понимает этот сигнал.

Проблема безбилетника

Наконец, хотя это, возможно, меньше связано с методологической основой, я хочу подчеркнуть еще одну не менее важную проблему: проблему безбилетника . Она возникает, когда стимулы не совпадают, так что одна сторона получает выгоду, а другая поглощает издержки или негативные последствия.

Это создает нежелательные стимулы: те, кто отвечает за оценку успеха, могут вознаграждать за более быстрое внедрение, лучшие показатели в заголовках или кажущуюся краткосрочную выгоду, в то время как операционные, регуляторные, финансовые или репутационные издержки неудач перекладываются на операционные группы и клиентов. На практике показатели могут перестать отражать реальную ценность и начать вознаграждать то, что проще всего измерить или сообщить, что может препятствовать честному общению об ограничениях, неопределенности или потребностях в техническом обслуживании.

Это создает нежелательные стимулы: те, кто отвечает за оценку успеха, могут вознаграждать более быстрое внедрение, более громкие заголовки или показатели, в то время как операционные, регуляторные, финансовые или репутационные издержки неудач ложатся на плечи операционных групп, клиентов или других подразделений организации. В этом смысле показатели могут перестать отражать реальную ценность и могут препятствовать честному общению об ограничениях, неопределенности и долгосрочных потребностях в обслуживании.

Заключение

Рассмотренные здесь вопросы не следует рассматривать как исчерпывающий список, а как часть более широкого и взаимосвязанного комплекса проблем, определяющих, является ли модель действительно надежной или только кажется таковой. В будущих статьях это обсуждение будет расширено на другие методологические проблемы, включая смещение охвата, скрытое загрязнение данных, пространственную автокорреляцию, региональную неоднородность, смещение агрегирования и противоречие между статистической точностью и экономически значимой оценкой.

Ссылки

[1] Каталини, К., Хуэй, С., и Ву, Дж. (2026). Некоторые простые экономические аспекты общего искусственного интеллекта. https://arxiv.org/abs/2602.20946

[2] Самуэльсон, В., и Зекхаузер, Р. (1988). Предвзятость к статус-кво в принятии решений. Журнал риска и неопределенности, 1, 7–59.

[3] Арратия, А., Эль Дау, М., Кагерхубер, Дж., и Смолярова, Ю. (2025). Изучение проблем прогнозирования подразумеваемой волатильности: критический обзор утечки данных и инженерии признаков в сочетании с моделями высокой сложности. Вычислительная экономика. https://doi.org/10.1007/s10614-025-11172-z.

[4] dudesurfin. (без даты). Данные по опционам SPY на конец дня (2010–2023) [Набор данных]. Kaggle. https://www.kaggle.com/datasets/dudesurfin/spy-options-eod-volatility-surface-2010-2023.

[5] Лоунс, МА (2024). Избегание распространенных ошибок машинного обучения. Patterns, 5(10), 101046. https://doi.org/10.1016/j.patter.2024.101046

[6] Гомес-Гонсалвеш, Э. (2025, 15 сентября). Не заглядывая вперед: обнаружение мошенничества в графах с учетом времени: обнаружение мошенничества в графах без утечек. На пути к науке о данных.

[7] Мейер, М., Кальтенпот, С., Залипски, К., и Мюллер, О. (2025). Переосмысление оценки в эпоху моделей, основанных на временных рядах: проблемы утечки (не)известной информации (arXiv:2510.13654). arXiv. https://doi.org/10.48550/arXiv.2510.13654

Эрика Гомеш-Гонсалвес Посмотреть все работы Эрики Гомеш-Гонсалвес

Источник: towardsdatascience.com