Масштабирование конвейеров проектирования признаков с помощью Feast и Ray.

06.03.2026 ideipro.ru

Использование хранилищ признаков, таких как Feast, и распределенных вычислительных фреймворков, таких как Ray, в системах машинного обучения, применяемых в производственной среде.

Делиться

В недавнем проекте, связанном с построением моделей прогнозирования потенциальных покупок клиентов, я столкнулся с проблемами проектирования признаков , с которыми сталкивался уже много раз.

Эти проблемы можно условно разделить на две категории:

1) Неадекватное управление функциями

Определения, происхождение и версии функций, созданных командой, не отслеживались систематически, что ограничивало повторное использование функций и воспроизводимость результатов моделирования.
Логика работы с признаками поддерживалась вручную в отдельных скриптах для обучения и вывода, что создавало риск несогласованности признаков для обучения и вывода (т.е., неравномерность распределения признаков между обучающей выборкой и выводом).
Характеристики хранились в виде плоских файлов (например, CSV), в которых отсутствует принудительная проверка схемы и поддержка доступа с низкой задержкой или масштабируемого доступа.

2) Высокая задержка при разработке характеристик.

При работе с временными рядами часто возникают сложные задачи по проектированию признаков, требующие вычисления множества преобразований на основе окон.
Когда эти вычисления выполняются последовательно, а не оптимизированы для параллельного выполнения, задержка при разработке признаков может значительно возрасти.

В этой статье я подробно объясняю концепции и реализацию хранилищ признаков (Feast) и распределенных вычислительных фреймворков (Ray) для проектирования признаков в производственных конвейерах машинного обучения (ML).