Почему бывший руководитель исследований ИИ в Cohere делает ставку против гонки масштабирования

Лаборатории искусственного интеллекта стремятся построить центры обработки данных размером с Манхэттен, каждый из которых стоит миллиарды долларов и потребляет столько же энергии, сколько небольшой город. Эти усилия основаны на глубокой вере в «масштабирование» — идею о том, что добавление вычислительной мощности к существующим методам обучения ИИ в конечном итоге приведёт к созданию сверхразумных систем, способных выполнять любые виды задач.

Однако все больше исследователей в области искусственного интеллекта утверждают, что масштабирование больших языковых моделей, возможно, достигло своих пределов и что для повышения производительности искусственного интеллекта могут потребоваться другие прорывы.

Именно на эту ставку делает Сара Хукер, бывший вице-президент по исследованиям искусственного интеллекта в Cohere и выпускница Google Brain, со своим новым стартапом Adaption Labs. Она основала компанию вместе с коллегой по Cohere и ветераном Google Судипом Роем. В основе её идеи лежит идея о том, что масштабирование магистерских программ стало неэффективным способом добиться большей производительности от моделей искусственного интеллекта. Хукер, покинувшая Cohere в августе, в этом месяце без лишнего шума объявила о начале более широкого набора сотрудников.

В интервью TechCrunch Хукер рассказала, что Adaption Labs создаёт системы искусственного интеллекта, способные непрерывно адаптироваться и обучаться на основе реального опыта, делая это чрезвычайно эффективно. Она отказалась раскрыть подробности о методах, лежащих в основе этого подхода, а также о том, использует ли компания программы магистратуры права (LLM) или иную архитектуру.

«Сейчас наступил переломный момент, когда становится совершенно ясно, что формула простого масштабирования этих моделей — подходы, основанные на масштабировании, которые привлекательны, но крайне скучны — не привели к созданию интеллекта, способного ориентироваться в мире или взаимодействовать с ним», — сказал Хукер.

По словам Хукера, адаптация — это «сердце обучения». Например, если вы споткнётесь, проходя мимо обеденного стола, в следующий раз вы научитесь обходить его осторожнее. Лаборатории искусственного интеллекта пытались реализовать эту идею с помощью обучения с подкреплением (RL), которое позволяет моделям ИИ учиться на своих ошибках в контролируемых условиях. Однако современные методы RL не помогают моделям ИИ, находящимся в эксплуатации (то есть в системах, уже используемых клиентами), учиться на своих ошибках в режиме реального времени. Они просто продолжают спотыкаться.

Некоторые лаборатории ИИ предлагают консалтинговые услуги, помогающие предприятиям настраивать свои модели ИИ под индивидуальные потребности, но это платно. По имеющимся данным, OpenAI требует от клиентов потратить более 10 миллионов долларов, чтобы получить консалтинговые услуги по настройке.

«У нас есть несколько передовых лабораторий, которые разрабатывают набор моделей ИИ, предоставляемых всем одинаково, и их адаптация обходится очень дорого», — сказал Хукер. «И на самом деле, я думаю, что это уже не обязательно, и системы ИИ могут очень эффективно обучаться, анализируя окружающую среду. Доказательство этого полностью изменит динамику того, кто будет контролировать и формировать ИИ, и, по сути, кому эти модели в конечном итоге служат».

Adaption Labs — очередной признак того, что вера отрасли в масштабирование программ магистратуры по управлению правами (LLM) пошатнулась. Недавняя работа исследователей из Массачусетского технологического института показала, что крупнейшие в мире модели искусственного интеллекта вскоре могут демонстрировать снижение доходности. Похоже, что и в Сан-Франциско меняется атмосфера. Любимый в мире подкастер по искусственному интеллекту Дваркеш Патель недавно провёл несколько необычно скептических бесед с известными исследователями в этой области.

Ричард Саттон, лауреат премии Тьюринга, считающийся «отцом RL», заявил Пателю в сентябре, что программы обучения с подкреплением (LLM) не могут по-настоящему масштабироваться, поскольку не учится на реальном опыте. В этом месяце один из первых сотрудников OpenAI Андрей Карпати сообщил Пателю, что у него есть сомнения относительно долгосрочного потенциала RL для улучшения моделей ИИ.

Подобные опасения не беспрецедентны. В конце 2024 года некоторые исследователи искусственного интеллекта выразили обеспокоенность тем, что масштабирование моделей ИИ посредством предобучения, при котором модели ИИ изучают закономерности на основе большого количества наборов данных, приводит к снижению эффективности. До этого предобучение было секретным средством улучшения моделей OpenAI и Google.

Эти проблемы с масштабированием до обучения теперь проявляются в данных, но индустрия ИИ нашла другие способы улучшения моделей. В 2025 году прорывы в области моделей рассуждений ИИ, требующих дополнительного времени и вычислительных ресурсов для решения задач перед получением ответа, ещё больше расширили возможности моделей ИИ.

Лаборатории искусственного интеллекта, похоже, убеждены, что масштабирование RL и моделей рассуждений ИИ — это новый рубеж. Исследователи OpenAI ранее рассказывали TechCrunch, что разработали свою первую модель рассуждений ИИ, o1, поскольку считали её хорошо масштабируемой. Исследователи Meta и Periodic Labs недавно опубликовали статью, в которой рассматривается, как RL может ещё больше масштабировать производительность. По имеющимся данным, стоимость исследования превысила 4 миллиона долларов, что подчёркивает, насколько дорогими остаются текущие подходы.

Adaption Labs, напротив, стремится к следующему прорыву и доказать, что обучение на собственном опыте может быть гораздо дешевле. По словам трёх инвесторов, ознакомившихся с презентациями стартапа, этой осенью стартап вёл переговоры о привлечении посевного раунда в размере от 20 до 40 миллионов долларов. По их словам, раунд уже закрыт, хотя окончательная сумма пока неизвестна. Хукер отказался от комментариев.

«Мы настроены очень амбициозно», — сказала Хукер, когда ее спросили об инвесторах.

Ранее Хукер возглавляла Cohere Labs, где она обучала небольшие модели ИИ для корпоративного использования. Компактные системы ИИ теперь регулярно превосходят своих более крупных аналогов в тестах на программирование, математику и рассуждения — и Хукер намерена и дальше развивать эту тенденцию.

Она также заслужила репутацию специалиста, расширяющего доступ к исследованиям в области искусственного интеллекта по всему миру, нанимая специалистов из таких малопредставленных регионов, как Африка. Хотя Adaption Labs вскоре откроет офис в Сан-Франциско, Хукер заявляет, что планирует нанимать специалистов по всему миру.

Если Хукер и Adaption Labs правы относительно ограничений масштабирования, последствия могут быть огромными. Миллиарды уже вложены в масштабирование программ магистратуры права, исходя из предположения, что более крупные модели приведут к развитию интеллекта в целом. Но вполне возможно, что настоящее адаптивное обучение может оказаться не только более эффективным, но и гораздо более эффективным.

В подготовке материала принимала участие Марина Темкина.

Источник: techcrunch.com