Карл Франзен
В минувшие выходные Андрей Карпати — влиятельный бывший руководитель направления искусственного интеллекта в Tesla, соучредитель и бывший член OpenAI, придумавший термин «вайб-кодирование» — опубликовал на X пост о своем новом проекте с открытым исходным кодом, autoresearch.
Это не была готовая модель или масштабный корпоративный продукт: по его собственному признанию, это был простой скрипт из 630 строк, размещенный на Github под разрешительной, удобной для предприятий лицензией MIT. Но амбиции были грандиозны: автоматизировать научный метод с помощью агентов искусственного интеллекта, пока мы, люди, спим.
«Цель состоит в том, чтобы сконструировать ваших агентов таким образом, чтобы они достигали максимально быстрого прогресса в исследованиях бесконечно долго и без вашего участия», — заявил он на X.
Система функционирует как автономный цикл оптимизации. Агенту ИИ предоставляется сценарий обучения и фиксированный вычислительный бюджет (обычно 5 минут на графическом процессоре).
Она считывает собственный исходный код, формулирует гипотезу для улучшения (например, изменение скорости обучения или глубины архитектуры), модифицирует код, запускает эксперимент и оценивает результаты.
Если потери при валидации, измеряемые в битах на байт ( val_bpb ), уменьшаются, изменение сохраняется; в противном случае, оно отменяется и повторяется. За одну ночь агент Карпати выполнил 126 экспериментов , снизив потери с 0,9979 до 0,9697.
Сегодня Карпати сообщил, что после двухдневной настройки модели «depth=12» агент успешно обработал около 700 автономных изменений.
Агент обнаружил примерно 20 дополнительных улучшений, которые идеально подошли для более крупных моделей. В совокупности эти изменения снизили показатель «Время до GPT-2» в таблице лидеров с 2,02 часов до 1,80 часов — повышение эффективности на 11% в проекте, который, по мнению Карпати, уже был хорошо оптимизирован.
«Видеть, как агент выполняет весь этот рабочий процесс от начала до конца и совершенно самостоятельно… это просто невероятно», — заметил Карпати, отметив, что агент обнаружил ошибки в масштабировании внимания и регуляризации, которые он сам пропустил при ручной настройке за два десятилетия работы.
Это не просто лайфхак для повышения производительности; это фундаментальный сдвиг в подходе к совершенствованию интеллекта. Автоматизировав «научный метод» для кода, Карпати превратил машинное обучение в эволюционный процесс, работающий со скоростью кремния, а не со скоростью человеческого мышления.
Более того, это показало более широкому сообществу специалистов по искусственному интеллекту и машинному обучению на платформе X, что подобный процесс может применяться далеко за пределами информатики, в таких областях, как маркетинг, здравоохранение и, в общем, практически во всем, что требует исследований.
Автоисследования распространяются повсеместно.
Реакция последовала незамедлительно и быстро распространилась в интернете: пост Карпати за два дня набрал более 8,6 миллионов просмотров, а строители и исследователи бросились покорять «петлю Карпати».
Варун Матур, генеральный директор платформы агрегации инструментов ИИ Hyperspace AI, взял цикл с одним агентом и распределил его по одноранговой сети. Каждый узел, на котором работает агент Hyperspace, стал автономным исследователем.
В ночь с 8 на 9 марта 35 автономных агентов в сети гиперпространства провели 333 эксперимента совершенно без участия оператора. Результаты стали мастер-классом по развитию стратегии, возникающей в процессе работы:
Разнообразие аппаратного обеспечения как особенность : Матур отметил, что в то время как графические процессоры H100 использовали «грубую силу» для поиска агрессивных скоростей обучения, агенты, работающие только на ЦП на ноутбуках, были вынуждены проявлять изобретательность. Эти «аутсайдеры» сосредоточились на стратегиях инициализации (таких как Kaiming и Xavier init) и выборе нормализации, поскольку они не могли полагаться на чистую пропускную способность.
Открытие на основе сплетен : Используя протокол GossipSub, агенты делились своими успехами в режиме реального времени. Когда один из агентов обнаружил, что инициализация Кайминга снизила потери на 21%, эта идея распространилась по сети, как цифровой вирус. В течение нескольких часов 23 других агента включили это открытие в свои собственные гипотезы.
Сжатие истории : всего за 17 часов эти агенты независимо друг от друга заново открыли важные этапы машинного обучения — такие как RMSNorm и связанные эмбеддинги, — на формализацию которых у исследователей из таких лабораторий, как Google Brain и OpenAI, ушло почти восемь лет.
Проводить 36 500 маркетинговых экспериментов в год вместо 30.
В то время как пуристы машинного обучения сосредоточились на кривых потерь, в деловом мире произошла революция другого рода. Эрик Сиу, основатель рекламного агентства Single Grain, применил автоматические исследования к «экспериментальному циклу» маркетинга.
«Большинство маркетинговых команд проводят около 30 экспериментов в год, — написал Сиу на X. — Следующее поколение проведет более 36 500 экспериментов. Легко». Он продолжил:
«Они будут проводить эксперименты, пока спят. Современные маркетинговые команды проводят 20-30 экспериментов в год. Возможно, 52, если они «хорошие». Новая целевая страница. Новый рекламный креатив. Возможно, тест заголовка письма. Это считается «маркетингом, основанным на данных». Но следующее поколение маркетинговых систем будет проводить более 36 500 экспериментов в год».
В разработанной Сиу системе обучающий скрипт заменяется маркетинговым материалом — целевой страницей, рекламным креативом или холодным электронным письмом. Агент изменяет переменную (тему письма или призыв к действию), запускает процесс, измеряет «процент положительных ответов» и сохраняет или удаляет результат.
Сиу утверждает, что это создает «собственную карту» того, что находит отклик у конкретной аудитории — своего рода ров, построенный не из кода, а из истории экспериментов. «У компаний, которые победят, будут не лучшие маркетологи, — пишет он, — а более быстрые циклы экспериментов».
Обсуждение в сообществе и «порча» набора данных для валидации.
Несмотря на ажиотаж, обсуждения на GitHub показали, что сообщество пытается осмыслить последствия столь быстрого автоматизированного прогресса.
Ловушка чрезмерной оптимизации : исследователь alexisthual высказал серьезную обеспокоенность: «Не опасаетесь ли вы, что запуск такого большого количества экспериментов в конечном итоге «испортит» проверочный набор данных?». Опасение заключается в том, что при достаточном количестве агентов параметры будут оптимизированы под специфические особенности тестовых данных, а не под общий интеллект.
Значение полученных результатов : Пользователь samionb задался вопросом, действительно ли заметно падение с 0,9979 до 0,9697. Ответ Карпати был, как обычно, прямолинейным: «Мы всего лишь оптимизируем производительность на каждый вычислительный узел… это реальные и существенные улучшения».
Человеческий фактор : Пользователь X, witcheer, руководитель отдела развития криптоплатформы Yari Finance, задокументировал свой собственный ночной эксперимент на Mac Mini M4, отметив, что хотя 26 из 35 экспериментов провалились или завершились с ошибкой, семь успешных экспериментов показали, что «модель улучшилась за счет упрощения».
Это понимание — что меньше часто значит больше — было достигнуто без какого-либо вмешательства человека.
Будущее: любопытство как узкое место
Внедрение автоматизированных исследований предполагает будущее исследований в различных областях, где благодаря простым механизмам управления ИИ роль человека смещается от «экспериментатора» к «разработчику экспериментов».
По мере появления таких инструментов, как DarkMatter, Optimization Arena и NanoClaw, поддерживающих этот рой, узким местом в прогрессе ИИ становится уже не способность «мясного компьютера» (так Карпати описывал человеческий мозг) программировать, а наша способность определять ограничения поиска.
Андрей Карпати в очередной раз изменил ситуацию. Мы больше не просто пишем модели кода; мы создаем экосистемы, которые учатся, пока мы спим.
Подпишитесь, чтобы получать самые свежие новости!
Подробные аналитические данные для руководителей предприятий в области искусственного интеллекта, данных и безопасности.
Отправляя свой адрес электронной почты, вы соглашаетесь с нашими Условиями использования и Политикой конфиденциальности.
Получайте обновления ! Вы подписаны! Наши последние новости скоро поступят на вашу электронную почту.
Источник: venturebeat.com
