Вкратце
В среду стартовала новая лаборатория искусственного интеллекта под названием Flapping Airplanes, получившая начальное финансирование в размере 180 миллионов долларов от Google Ventures, Sequoia и Index. Команда основателей впечатляет, а цель — найти менее ресурсоемкий способ обучения больших моделей — особенно интересна.
Судя по тому, что я видел до сих пор, я бы оценил их как «второй уровень» по шкале попыток заработать деньги.
Но в проекте Flapping Airplanes есть нечто еще более захватывающее, что я не мог понять, пока не прочитал этот пост от Дэвида Кана, партнера компании Sequoia.
Как описывает это Кан, Flapping Airplanes — одна из первых лабораторий, которая вышла за рамки масштабирования, неустанного наращивания объёмов данных и вычислительных мощностей, которое до сих пор определяло большую часть отрасли:
Парадигма масштабирования утверждает, что необходимо направить огромные ресурсы общества, насколько это позволяет экономика, на масштабирование современных программ обучения с использованием линейного программирования (LLM) в надежде, что это приведет к созданию искусственного общего интеллекта (AGI). Парадигма исследований утверждает, что до создания «AGI»-интеллекта осталось 2-3 научных прорыва, и поэтому следует направлять ресурсы на долгосрочные исследования, особенно на проекты, реализация которых может занять 5-10 лет.
[…]
Подход, ориентированный на вычислительные ресурсы, будет отдавать приоритет масштабу кластера и будет отдавать предпочтение краткосрочным выгодам (порядка 1-2 лет) перед долгосрочными ставками (порядка 5-10 лет). Подход, ориентированный на исследования, будет распределять ставки во времени и должен быть готов делать множество ставок с низкой абсолютной вероятностью успеха, но которые в совокупности расширяют пространство поиска возможных вариантов.
Возможно, специалисты по вычислительным системам правы, и нет смысла сосредотачиваться на чем-либо, кроме лихорадочного строительства серверов. Но поскольку многие компании уже движутся в этом направлении, приятно видеть, что кто-то идет в противоположном направлении.
Источник: techcrunch.com
