В последние месяцы появилось множество интересных исследовательских лабораторий, специализирующихся на искусственном интеллекте, и Flapping Airplanes — одна из самых любопытных. Благодаря молодым и любознательным основателям, Flapping Airplanes сосредоточена на поиске менее ресурсоемких способов обучения ИИ. Это может кардинально изменить экономику и возможности моделей ИИ — и с начальным финансированием в 180 миллионов долларов у них будет достаточно средств, чтобы воплотить это в жизнь.
На прошлой неделе я поговорил с тремя соучредителями лаборатории — братьями Беном и Ашером Спекторами и Эйданом Смитом — о том, почему это волнующий момент для создания новой лаборатории искусственного интеллекта и почему они постоянно возвращаются к идеям о человеческом мозге.
Я хочу начать с вопроса: почему именно сейчас? Такие лаборатории, как OpenAI и DeepMind, вложили огромные средства в масштабирование своих моделей. Уверен, конкуренция кажется пугающей. Почему же именно сейчас показалось подходящим моментом для запуска компании, занимающейся разработкой базовых моделей?
Бен: Предстоит сделать очень многое. Прогресс, которого мы достигли за последние пять-десять лет, просто впечатляет. Нам нравятся эти инструменты. Мы используем их каждый день. Но вопрос в том, исчерпан ли весь спектр необходимых изменений? Мы очень тщательно обдумали это и пришли к выводу, что нет, предстоит сделать гораздо больше. В нашем случае мы посчитали, что ключевой проблемой является вопрос эффективности использования данных. Современные передовые модели обучаются на основе всей совокупности человеческих знаний, а люди, очевидно, могут обойтись гораздо меньшим объемом информации. Таким образом, здесь существует большой пробел, и его стоит изучить.
Мы делаем целенаправленную ставку на три вещи. Во-первых, мы ставим на то, что проблема эффективности использования данных — это важная задача. Это действительно новое и необычное направление, в котором можно добиться прогресса. Во-вторых, мы ставим на то, что это будет иметь большую коммерческую ценность и сделает мир лучше, если мы сможем это сделать. И, наконец, мы ставим на то, что для этого нам нужна подходящая команда — креативная и даже в некотором смысле неопытная, способная взглянуть на эти проблемы с нуля.
Эйдан: Да, совершенно верно. Мы не считаем себя конкурентами другим лабораториям, потому что, на наш взгляд, мы решаем совершенно другие задачи. Если посмотреть на человеческий разум, он учится совершенно иначе, чем трансформеры. И это не значит, что он лучше, просто совершенно другой. Поэтому мы видим разные компромиссы. Трансформеры обладают невероятной способностью к запоминанию и использованию огромного объема знаний, но они не могут быстро осваивать новые навыки. Для адаптации им требуются огромные объемы данных. А если заглянуть внутрь мозга, то можно увидеть, что используемые им алгоритмы принципиально отличаются от градиентного спуска и некоторых методов, которые сегодня применяются для обучения ИИ. Поэтому мы создаем новое поколение исследователей, чтобы решать эти проблемы и действительно по-новому взглянуть на область ИИ.
Ашер : Этот вопрос невероятно интересен с научной точки зрения: почему созданные нами интеллектуальные системы так сильно отличаются от того, что делают люди? Откуда берется это различие? Как мы можем использовать знание об этом различии для создания более совершенных систем? Но в то же время я думаю, что это очень выгодно с коммерческой точки зрения и очень полезно для мира. Многие действительно важные области также сильно ограничены в объеме данных, например, робототехника или научные открытия. Даже в корпоративных приложениях модель, которая в миллион раз эффективнее с точки зрения использования данных, вероятно, в миллион раз проще внедрить в экономику. Поэтому для нас было очень интересно взглянуть на эти подходы с новой стороны и подумать: если бы у нас действительно была модель, которая значительно эффективнее с точки зрения использования данных, что бы мы могли с ней сделать?
Это подводит меня к следующему вопросу, который также связан с названием «Машущие самолеты». В сфере ИИ существует философский вопрос о том, насколько мы пытаемся воссоздать то, что люди делают в своем мозге, по сравнению с созданием более абстрактного интеллекта, который пойдет совершенно другим путем. Эйдан пришел из Neuralink, компании, которая занимается изучением человеческого мозга. Вы считаете, что придерживаетесь более нейроморфного подхода к ИИ?
Эйдан: Я рассматриваю мозг как доказательство его существования. Мы видим в нем свидетельство того, что существуют и другие алгоритмы. Нет единственной общепринятой версии. И у мозга есть некоторые невероятные ограничения. Если посмотреть на лежащее в его основе оборудование, то можно увидеть нечто невероятное. На срабатывание потенциала действия требуется миллисекунда. За это время ваш компьютер может выполнить очень мало операций. Поэтому, если смотреть реалистично, вероятно, существует подход, который намного лучше, чем мозг, и к тому же сильно отличается от трансформера. Так что нас очень вдохновляют некоторые вещи, которые делает мозг, но мы не хотим быть им связаны.
Бен: В дополнение к этому, это очень хорошо отражено в нашем названии: «Машущие самолеты». Представьте себе существующие системы как большие Boeing 787. Мы не пытаемся строить птиц. Это слишком смело. Мы пытаемся построить своего рода машущий самолет. С моей точки зрения, в области компьютерных систем ограничения мозга и кремния достаточно сильно отличаются друг от друга, поэтому не стоит ожидать, что эти системы будут выглядеть одинаково. Когда основа настолько различна, и у вас действительно очень разные компромиссы в отношении стоимости вычислений, стоимости локальности и перемещения данных, вы действительно ожидаете, что эти системы будут выглядеть немного по-другому. Но то, что они будут выглядеть несколько иначе, не означает, что мы не должны черпать вдохновение из мозга и пытаться использовать те его части, которые нам кажутся интересными, для улучшения наших собственных систем.
Создается впечатление, что сейчас у лабораторий больше свободы для сосредоточения на исследованиях, а не просто на разработке продуктов. Это кажется большой разницей для этого поколения лабораторий. Есть те, которые очень ориентированы на исследования, а есть и те, которые пока что «ориентированы на исследования». Как выглядит этот диалог внутри таких «летающих самолетов»?
Ашер: Хотел бы я назвать вам конкретные сроки. Хотел бы я сказать, что через три года мы решим исследовательскую проблему. Вот как мы будем коммерциализировать проект. Но я не могу. Мы не знаем ответов. Мы ищем истину. Тем не менее, я считаю, что у нас есть коммерческий опыт. Я много времени посвятил разработке технологий для компаний, которые приносили этим компаниям приличные деньги. Бен создал множество стартапов с коммерческим опытом, и мы действительно рады коммерциализации. Мы считаем, что для мира полезно взять созданную вами ценность и передать её в руки тех, кто может ею воспользоваться. Поэтому я не думаю, что мы против этого. Нам просто нужно начать с исследований, потому что если мы начнём с подписания крупных корпоративных контрактов, мы отвлечёмся и не будем проводить ценные исследования.
Эйдан: Да, мы хотим попробовать действительно радикально разные вещи, и иногда даже радикально отличающиеся вещи оказываются хуже, чем существующая парадигма. Мы изучаем ряд различных компромиссов. Мы надеемся, что в долгосрочной перспективе они окажутся другими.
Бен: Компании достигают наилучших результатов, когда они действительно сосредоточены на том, чтобы делать что-то хорошо, верно? Крупные компании могут позволить себе делать много разных вещей одновременно. Когда вы стартап, вам действительно нужно выбрать то, что является наиболее ценным, и делать это до конца. И мы создаем наибольшую ценность, когда всецело сосредоточены на решении фундаментальных проблем на данный момент.
Я, честно говоря, оптимистично настроен и считаю, что в ближайшее время мы сможем добиться достаточного прогресса, чтобы затем приступить к работе в реальном мире. А ведь, получая обратную связь из реального мира, можно многому научиться. Удивительно, что мир постоянно чему-то учит, не так ли? Это огромный кладезь истины, к которому можно обратиться в любое время. Думаю, главное, что стало возможным благодаря недавним изменениям в экономике и финансировании этих структур, — это возможность для компаний сосредоточиться на том, что у них хорошо получается, на более длительные периоды времени. Именно эта сосредоточенность, которая меня больше всего вдохновляет, позволит нам создавать действительно уникальные проекты.
Чтобы уточнить, что, как мне кажется, вы имеете в виду: вокруг столько ажиотажа, и возможности для инвесторов настолько очевидны, что они готовы вложить 180 миллионов долларов в качестве начального финансирования в совершенно новую компанию, состоящую из очень умных, но и очень молодых людей, которые не просто так вышли из PayPal или чего-то подобного. Каково было участвовать в этом процессе? Вы знали заранее о таком интересе, или это было что-то, что вы обнаружили, поняв, что на самом деле мы можем сделать это гораздо масштабнее, чем думали?
Бен: Я бы сказал, что это было сочетание двух факторов. Рынок был на подъеме в течение многих месяцев. Поэтому не было секретом, что крупные раунды финансирования не начинали заключаться. Но никогда нельзя точно знать, как среда привлечения средств отреагирует на ваши конкретные представления о мире. Это, опять же, та область, где нужно позволить миру дать вам обратную связь о том, что вы делаете. Даже в ходе нашего привлечения средств мы многому научились и фактически изменили свои идеи. И мы уточнили свои взгляды на то, чему следует уделять приоритетное внимание, и какие сроки являются правильными для коммерциализации.
Думаю, мы были несколько удивлены тем, насколько хорошо наше послание нашло отклик, потому что для нас это было совершенно очевидно, но никогда не знаешь, примут ли твои идеи другие люди или все остальные сочтут тебя сумасшедшим. Нам невероятно повезло найти группу замечательных инвесторов, которым наше послание действительно понравилось, и они сказали: «Да, это именно то, что мы искали». И это было потрясающе. Это было, знаете ли, неожиданно и замечательно.
Эйдан: Да, стремление к эпохе научных исследований назревало уже довольно давно. И все чаще мы оказываемся в положении игрока, способного покорить эту эпоху и действительно воплотить в жизнь эти радикальные идеи.
По крайней мере, для компаний, ориентированных на масштабирование, существуют огромные затраты на создание базовых моделей. Создание модели такого масштаба — это невероятно ресурсоемкий процесс с точки зрения вычислительных мощностей. Исследования находятся где-то посередине: предположительно, вы создаете базовые модели, но если вы работаете с меньшим объемом данных и не так сильно ориентированы на масштабирование, то, возможно, получаете некоторое преимущество. Насколько, по вашему мнению, вычислительные затраты будут ограничивать ваши возможности?
Бен: Одно из преимуществ глубоких, фундаментальных исследований заключается в том, что, как это ни парадоксально, гораздо дешевле воплощать в жизнь действительно безумные, радикальные идеи, чем проводить постепенные работы. Потому что, когда вы проводите постепенные работы, чтобы выяснить, работают ли они, вам приходится подниматься очень высоко по лестнице масштабирования. Многие решения, которые хорошо работают в малом масштабе, на самом деле не сохраняются в большом масштабе. В результате такая работа обходится очень дорого. В то время как, если у вас есть какая-то безумная новая идея о новом оптимизаторе архитектуры, она, вероятно, потерпит неудачу с первой же попытки, верно? Поэтому вам не нужно продвигаться вверх по лестнице. Она уже сломана. Это здорово.
Таким образом, это не означает, что масштаб для нас не имеет значения. На самом деле, масштаб — важный инструмент в арсенале всех наших возможностей. Возможность масштабировать наши идеи, безусловно, важна для нашей компании. Поэтому я бы не стал представлять нас как полную противоположность масштабу, но я считаю, что это замечательная особенность нашей работы — возможность проверять многие наши идеи в очень небольших масштабах, прежде чем нам понадобится внедрять их в больших масштабах.
Ашер: Да, вы должны иметь возможность использовать весь интернет. Но вам это не должно быть необходимо. Нас действительно очень удивляет, что для достижения такого уровня интеллекта, как у человека, нужно использовать весь интернет.
Итак, что станет возможным, если мы сможем более эффективно обучать модель на данных? Предположительно, модель станет более мощной и интеллектуальной. Но есть ли у вас конкретные идеи о том, куда это нас приведет? Мы будем рассматривать обобщение за пределами распределения или же модели, которые лучше справляются с конкретной задачей с меньшим опытом?
Ашер: Итак, во-первых, мы занимаемся наукой, поэтому я не знаю ответа, но могу выдвинуть три гипотезы. Моя первая гипотеза заключается в том, что существует широкий спектр между простым поиском статистических закономерностей и чем-то, что требует действительно глубокого понимания. И я думаю, что нынешние модели находятся где-то на этом спектре. Я не думаю, что они полностью приблизились к глубокому пониманию, но они также явно не просто занимаются статистическим сопоставлением закономерностей. И возможно, что по мере обучения моделей на меньшем объеме данных, вы действительно заставляете модель обладать невероятно глубоким пониманием всего, что она видела. И по мере этого модель может стать более интеллектуальной очень интересным образом. Она может знать меньше фактов, но лучше рассуждать. Так что это одна из потенциальных гипотез.
Другая гипотеза похожа на вашу: в настоящий момент обучение моделей новым возможностям обходится очень дорого, как с операционной точки зрения, так и в денежном выражении, поскольку для этого требуется огромное количество данных. Возможно, одним из результатов нашей работы станет значительное повышение эффективности постобучения, так что всего с помощью нескольких примеров можно будет действительно внедрить модель в новую область.
А еще возможно, что это просто откроет новые направления для ИИ. Например, есть определенные виды робототехники, где по какой-то причине мы не можем получить те возможности, которые действительно сделали бы их коммерчески жизнеспособными. Мое мнение таково, что это проблема ограниченности данных, а не проблема оборудования. Тот факт, что можно дистанционно управлять роботами, доказывает, что оборудование достаточно хорошее. Но таких областей много, например, научные открытия.
Бен: Еще один момент, на который я хотел бы обратить внимание: когда мы думаем о влиянии ИИ на мир, у вас может сложиться впечатление, что это дефляционная технология. То есть, роль ИИ заключается в автоматизации множества рабочих мест, в снижении стоимости этой работы, чтобы вывести ее из экономики и поручить ее выполнение роботам. И я уверен, что это произойдет. Но, на мой взгляд, это не самое захватывающее видение ИИ. Самое захватывающее видение ИИ — это когда мы можем создавать всевозможные новые научные разработки и технологии, которые люди не способны придумать, но могут это сделать другие системы.
В этом аспекте, я думаю, что первая ось, о которой говорил Ашер, — спектр между истинным обобщением и запоминанием или интерполяцией данных, — чрезвычайно важна для получения глубоких знаний, которые приведут к новым достижениям в медицине и науке. Важно, чтобы модели были в значительной степени ориентированы на творческую сторону спектра. И поэтому, отчасти, меня очень воодушевляет работа, которую мы делаем, потому что, помимо индивидуального экономического влияния, я также искренне ориентирован на решение вопроса: можем ли мы заставить ИИ делать то, что люди раньше принципиально не могли делать? И это больше, чем просто: «Давайте уволим кучу людей с работы».
Безусловно. Это ставит вас в определенную группу в дискуссии об искусственном общем интеллекте, в контексте обсуждения обобщения результатов исследований?
Ашер: Я действительно не совсем понимаю, что означает AGI. Очевидно, что возможности развиваются очень быстро. Очевидно, что создаётся огромная экономическая ценность. На мой взгляд, мы не очень близки к «Богу в коробке». Я не думаю, что через два месяца или даже два года произойдёт сингулярность, когда люди внезапно станут совершенно ненужными. В основном я согласен с тем, что сказал Бен в начале, а именно: мир действительно огромен. Предстоит много работы. Проводится много потрясающей работы, и мы рады внести свой вклад.
Что ж, идея о мозге и его нейроморфной составляющей действительно кажется актуальной. Вы говорите, что на самом деле наиболее уместным сравнением для LLM является человеческий мозг, а не «Механический турок» или детерминированные компьютеры, которые были до него.
Эйдан: Подчеркну, мозг — это не потолок, верно? Мозг во многом — это пол. Честно говоря, я не вижу никаких доказательств того, что мозг не является познаваемой системой, подчиняющейся физическим законам. На самом деле, мы знаем, что он находится под множеством ограничений. Поэтому мы ожидаем, что сможем создать возможности, которые будут гораздо, гораздо интереснее, отличаться и потенциально лучше, чем возможности мозга в долгосрочной перспективе. И поэтому мы рады внести свой вклад в это будущее, будь то искусственный общий интеллект или что-то другое.
Ашер: И я думаю, что сравнение с мозгом здесь уместно, потому что мозг помогает нам понять, насколько обширно это пространство. Например, легко увидеть весь достигнутый нами прогресс и подумать: «Ух ты, у нас есть ответ. Мы почти закончили». Но если посмотреть немного шире и попытаться взглянуть на ситуацию в более широкой перспективе, то окажется, что многое нам неизвестно.
Бен: Мы не стремимся стать лучше как таковые. Мы стремимся быть другими, верно? Это главное, на что я хочу обратить внимание. У всех этих систем почти наверняка будут разные компромиссы. Вы получите преимущество в одном месте, а в другом это обойдется вам дороже. И мир огромен. Существует так много разных областей с таким количеством разных компромиссов, что наличие большего количества систем и более фундаментальных технологий, способных решать задачи в этих разных областях, с большой вероятностью позволит искусственному интеллекту распространяться по миру более эффективно и быстро.
Один из способов, которым вы выделились, — это ваш подход к найму, вы привлекаете очень молодых людей, в некоторых случаях еще студентов колледжа или средней школы. Что именно вас привлекает в общении с человеком и заставляет задуматься: «Я хочу, чтобы этот человек работал с нами над решением этих исследовательских задач»?
Эйдан: Это когда ты разговариваешь с кем-то, и он тебя просто поражает, у него столько новых идей, и он мыслит так, как многие признанные исследователи просто не могут, потому что их не засорили тысячи и тысячи научных работ. На самом деле, самое главное, что мы ищем, это креативность. Наша команда невероятно креативна, и каждый день я чувствую себя очень счастливым, что могу приходить и обсуждать с людьми действительно радикальные решения некоторых из самых больших проблем в области ИИ и мечтать о совершенно другом будущем.
Бен: Наверное, самый главный сигнал, на который я лично обращаю внимание, это: учат ли меня чему-то новому, когда я провожу с ними время? Если они учат меня чему-то новому, то вероятность того, что они научат нас чему-то новому о том, над чем мы работаем, тоже довольно высока. Когда занимаешься исследованиями, такие креативные, новые идеи действительно являются приоритетом.
Частью моего опыта стало участие в создании инкубатора Prod во время обучения в бакалавриате и аспирантуре. Инкубатор работал с множеством успешных компаний. И я думаю, что одним из результатов стало то, что молодые люди вполне могут конкурировать на самых высоких уровнях индустрии. Честно говоря, ключевой момент – это осознание того, что я могу этим заниматься. Я могу внести свой вклад на самом высоком уровне.
Конечно, мы признаем ценность опыта. Люди, работавшие над крупномасштабными системами, — это здорово, мы нанимали некоторых из них, знаете, мы рады работать с самыми разными людьми. И я думаю, что наша миссия нашла отклик и у опытных специалистов. Я просто считаю, что для нас главное — это люди, которые не боятся менять парадигму и могут попытаться представить себе новую систему того, как все может работать.
Один из вопросов, который меня давно волнует, — насколько сильно, по-вашему, будут отличаться получившиеся системы искусственного интеллекта? Мне легко представить что-то вроде Claude Opus, которое просто работает на 20% лучше и может делать на 20% больше вещей. Но если это будет совершенно новая система, трудно представить, к чему это приведет или как будет выглядеть конечный результат.
Ашер: Не знаю, доводилось ли вам когда-нибудь общаться с базовой моделью GPT-4, но у неё появилось много действительно странных, неожиданных возможностей. Например, вы могли взять фрагмент вашей ещё не написанной записи в блоге и спросить: «Как вы думаете, кто это написал?», и она могла бы это определить.
Существует множество подобных возможностей, когда модели проявляют интеллект способами, которые мы не можем постичь. А будущие модели будут умнее, но ещё более странными способами. Думаю, нам следует ожидать, что будущее будет действительно странным, а архитектуры — ещё более странными. Мы стремимся к 1000-кратному увеличению эффективности обработки данных. Мы не пытаемся вносить постепенные изменения. Поэтому нам следует ожидать таких же непознаваемых, чужеродных изменений и возможностей на пределе возможностей.
Бен: В целом я с этим согласен. Возможно, я немного более сдержан в том, как эти вещи в конечном итоге будут восприниматься миром, так же как базовая модель GPT-4 была скорректирована OpenAI. Важно создавать такие формы, чтобы потребитель не смотрел в пропасть. Думаю, это важно. Но в целом я согласен с тем, что наша исследовательская программа направлена на создание возможностей, которые принципиально отличаются от того, что можно сделать сейчас.
Фантастика! Есть ли способы, которыми люди могут взаимодействовать с машущими крыльями самолётов? Ещё слишком рано для этого? Или им просто следует следить за результатами исследований и разработкой моделей, когда они окажутся успешными?
Ашер: Итак, у нас есть адрес Hi@flappingairplanes.com. Если вы просто хотите поздороваться, у нас также есть адрес disagree@flappingairplanes.com, если вы хотите с нами не согласиться. У нас были действительно интересные беседы, когда люди присылали нам очень длинные эссе о том, почему, по их мнению, невозможно делать то, что мы делаем. И мы с удовольствием вступаем в диалог.
Бен: Но они нас пока не убедили. Никто нас пока не убедил.
Ашер: Во-вторых, мы ищем исключительных людей, которые стремятся изменить эту область и изменить мир. Поэтому, если вас это заинтересовало, свяжитесь с нами.
Бен: И если у вас есть другой, нетрадиционный опыт, это нормально. Вам не нужны две докторские степени. Мы действительно ищем людей, которые мыслят нестандартно.
Источник: techcrunch.com
