LLM delenda est или Язык до AGI не доведет Свежее…

LLM delenda est

или Язык до AGI не доведет

Свежее интервью Яна Лекуна подтвердило за ним статус версии римского сенатора Катона Старшего от мира ИИ/ML. О каких бы прорывах ни рапортовала индустрия, Лекун неизменно выходит на трибуну со своим бессменным: «Впрочем, я считаю, что авторегрессионные LLM ведут в тупик, и должны быть отброшены». В интервью прозвучало традиционное скептическое ворчание, а также интересная фактура изнутри Meta*.

🤖 Суть лекуновского «Карфагена» проста: кремниевая долина тратит сотни миллиардов долларов на продвинутый Т9, путая имитацию с разумом. LLM работают авторегрессионно в пространстве токенов, у них нет здравого смысла и способности планировать. Они принципиально небезопасны на системном уровне, а значит никакие фильтры, RL и файнтюн не избавят их от галлюцинаций, поскольку внутри архитектуры нет понимания физики реальности.

🐷 Лекун резонно иронизирует над стадным поведением бигтехов, которые пытаются залить проблему неэффективности данными, сжигая ресурсы на генерацию синтетического видео и обучение роботов банальному подражанию (imitation learning). Он приводит простой пример: 17-летний подросток схватывает навыки вождения за 20 часов без всяких симуляций, а беспилотникам требуются миллионы часов данных, и они всё равно пасуют перед редкими ситуациями. Язык — слишком узкий субстрат, LLM уперлись в непрерывный физический мир.

Ну и на закуску корпоративная драма. Лекун откровенно рассказал, почему покинул Meta*. В 2023 году на волне успеха первой Llama Цукерберг поддался панике и краткосрочному давлению инвесторов, создав подразделение GenAI. В итоге средний менеджмент и коммерческие задачи полностью сожрали долгосрочное видение: фундаментальные поисковые исследования в FAIR лишились приоритета, а команду робототехники просто распустили. Внутри корпорации развивать науку Лекуну больше не дали, и он ушел делать стартап AME Labs, развивать архитектура JEPA. Вместо предсказания пикселей или токенов его система учится прогнозировать последствия действий в абстрактном пространстве представлений. 

👁 Параллельно Лекун продвигает проект Tapestry — платформу глобального федеративного обучения. Через обмен весами параметров (без передачи самих данных) он хочет дать условной Индии или Бразилии цифровой суверенитет, чтобы их граждане не подвергались «промывке мозгов» базовыми моделями с зашитыми ценностями Калифорнии или Пекина.

📚📚📚Катон твердил свою фразу годами, пока Рим действительно не сравнял Карфаген с землей. По прогнозу Лекуна, всеобщее осознание того, что парадигма LLM зашла в тупик и бесконечное расширение дата-центров не сделает модели умнее, наступит уже в 2027 году. Посмотрим, засыплют ли солью серверные стойки с трансформерами 😏

 * — Meta признана экстремистской и запрещена в России 
 
@anti_agi