Гипотеза о Языке Мышления как альтернатива Искусственному Интеллекту

Длинный манифест, написанный обаятельным научпоп‑языком. Второе издание. Текст переработан и сокращен, и при этом удачно дополнен, в том числе картинками.

50 лет назад была выдвинута гипотеза о Языке Мышления. Наверняка вы про нее не слышали — а зря. Классная штука, которая может перевернуть (и уже переворачивает) представление о возможных методах обработки информации, воплощенных в технологиях.

Мы работаем с этой гипотезой несколько лет и в рамках нее исследуем Теорию активного восприятия, TAPe (Theory of Active Perception). Ниже будет подробный дисклеймер. Кратко: Теория предлагает совершенно другой путь работы с информацией, чем тот, который сегодня широко принят в компьютерных технологиях вообще и в ИИ в частности. Используя методы TAPe, нам удается создавать технологии в области обработки информации (сейчас – в области компьютерного зрения), превосходящие по всем доступным метрикам любые другие решения, включая модели уровня SOTA. Вот стенд для всех желающих.

В этой статье мы немножко раскроем карты – но совсем чуть-чуть, поскольку не планируем раскрывать ноу-хау и даже что-либо подсказывать в этом смысле. Но мы расскажем об интересной гипотезе Языка Мышления и о том, в чем принципиальная разница между Языком Мышления и ИИ, немного поговорим о том, как и почему ИИ отказался от биологии и пошел и пришел туда, куда пришел.

ИИ — супер! Но давайте сразу договоримся, что ИИ никакой не интеллект и никогда им не станет

Сегодня (и до сих пор!) в технологической среде часто и много принято говорить об искусственном интеллекте так, будто он естественно продолжает и вскоре заменит человеческое мышление.

Таких безумцев довольно много, и с этим приходится только смиряться, хотя и голосов разума становится все больше, в том числе здесь, на Хабре. Приятно встречать единомышленников, но все равно кажется, что нас пока слишком мало.

Нейросети с миллиардами параметров, огромные датасеты, все более эффектные демо разного формата создают иллюзию, что «набор связей в компьютере» уже является новым носителем разума. В «Ведомостях» выходят перепечатки про эмуляцию мозга дрозофилы. Ура. 125 тыс. нейронов! Осталось совсем чуть-чуть – и человеческий мозг также будет покорен.

Шутка юмора (для тех, кто в танке).

С точки зрения нейробиологии и когнитивных наук это представление выглядит, по меньшей мере, преждевременным, а с нашей точки зрения и вовсе забавным. Объем фактов о мозге, нервной системе и восприятии скорее подталкивает ученых сомневаться в том, что нынешний ИИ может быть преемником или аналогом мозга, сознания и психики, чем подтверждает такую надежду.

Огромные энергозатраты и аппаратные ресурсы современных моделей дают, в сущности, весьма скромный когнитивный результат, если сравнивать его с тем, что делает человеческий мозг в рамках «хотя бы» зрительной системы.

ИИ опирается на математику«перебора», оптимизации и статистики — поиск «следующего слова», обратное распространение ошибки, — но совсем не отвечает на вопрос, какие именно элементы и по каким законам составляют саму ткань мышления. Накопленный корпус знаний о биологической нейросети практически никак не используется в ИИ‑подходах; от нейрона там — одно название.

В свое время мы подготовили целый альманах, посвященный проблемам развития индустрии искусственного интеллекта, развитию, бодро зашедшему в тупик. Впрочем, в том же альманахе мы описали и пути выхода из этого тупика — выхода не индустрии искусственного интеллекта (с ней все ясно), а научных и инженерных умов. Там есть подробные, хоть и краткие (нам эта дихотомия удалась) статьи‑посты на разные темы, которые поднимаются вскользь в этой статье. Милости просим.

Дисклеймер

В этом блоге мы пишем о результатах наших исследований и разработок в области TAPe — Теории активного восприятия (Theory of Active Perception). TAPe — это попытка (удачная) описать хотя бы частично, как именно мозг воспринимает и обрабатывает реальность: какими первичными элементами он оперирует, по каким законам соединяет их в образы, символы и смыслы.

Нам удалось хотя бы частично формализовать то, что мозг делает «по умолчанию» — используя методы обработки информации, принципиально отличные от любых существующих подходов в ИИ. Можно сказать, мы пользуемся миллиардолетними достижениями эволюции: мозг оттачивал своё восприятие реальности несравнимо дольше, чем существует вычислительная техника, — и было бы странно это игнорировать. Поэтому мы здесь и поэтому нам удается делать, в частности, в компьютерном зрении то, что недоступно другим.

Язык Мышления супротив ИИ

Язык Мышления — гипотетическая система, в которой мозг изначально «видит» и структурирует реальность. Термин Language of Thought был введен Джерри Фодором еще в 1970‑х годах для описания внутреннего «языка», на котором оперирует человеческий разум. В дальнейшем эта линия развивалась через гипотезу физической символьной системы Ньюэлла и Саймона. Согласно ей, физическая символьная система обладает всеми необходимыми и достаточными средствами для выполнения базовых интеллектуальных операций. Терренс Дикон дополнил эту картину тезисом, что мы вообще не можем видеть мир иначе, чем в четких терминах символов, а значит, мышление неотделимо от символьного представления.

Язык (естественный, на котором мы говорим/пишем) в этом контексте рассматривается как завершенная система, достаточная для осуществления интеллектуальных операций: он эволюционировал так, чтобы можно было описывать весь окружающий мир, все, что мы видим, знаем и о чем можем думать.

Но давайте попробуем сделать шаг поглубже.

Символы, которыми оперирует язык, не появляются из ниоткуда: они должны быть связаны с тем, как мозг изначально членит (другой глагол мы пока не придумали; можно организовать конкурс на лучшую идею) реальность через органы чувств. Зрение играет ключевую роль: оно напрямую связано с мозгом и является основным поставщиком информации об окружающем мире (по разным оценкам, до 80–90% информации поступает в мозг именно через зрение).

Нейробиологические данные указывают, что базовыми объектами, которые распознаются визуальной системой человека, выступают точка и линия; причем линии определенного набора ориентаций распознаются нами врожденно. Так сработала эволюция. Почему именно так — в рамках данной статьи не важно, но важно понимать, что это необходимый и достаточный минимум для того, чтобы мозг и его носитель умели выживать в этом прекрасном и яростном мире. Такие «врожденные детекторы линий» представляют собой первичные элементы, на которые мозг разворачивает поток визуальной реальности.

Теория Активного Восприятия (TAPe), которую мы так пестуем и на базе которой создаем революционные технологии, исходит из того, что именно эти первичные элементы и связи между ними составляют фрагмент Языка Мышления. TAPe моделирует работу врожденных механизмов человеческого восприятия и дает возможность «математически» описывать принципы, способы и методы, по которым функционирует Язык Мышления: как мозг воспринимает реальность, превращает ее сначала в данные, а затем в информацию в привычном нам смысле.

Слово «математический» мы взяли в кавычки специально: в TAPe почти нет привычной для ИИ математики — дифференциалов, интегралов, байесовских схем и обратного распространения ошибки (как нет их и в нашем с вами мозге; хотя, возможно, некоторые программисты‑разработчики‑ИИпоклонники и с этим поспорят). Логика, которой следуют элементы Языка Мышления, качественно иная, чем логика операций над буквами, цифрами и их комбинациями; это не классическая математика и не лингвистика в узком смысле. Если принять, что восприятие вместе с работой мозга естественным образом формируют первичные элементы и связи между ними, то сам Язык Мышления можно определить как совокупность этих элементов и законов их взаимодействия. С которыми TAPe и работает.

Таким образом, элементы TAPe образуют часть «языковой математики», на которой «думает» мозг: их можно рассматривать как вычислительные символы Языка Мышления, но не в виде букв или чисел, а в виде структур другого рода. Мы даже придумали для них слово языкоматематика, а единицы информации, которыми мы описываем эти элементы, назвали T‑bits, по аналогии с битами. Названия похожие, разница — принципиальная.

ИИ же, даже если сталкивается с подобными структурами, то как бы восстанавливает их «сверху вниз» (хотя и не «понимая» их), через численную оптимизацию, в то время как TAPe пытается описать (и описывает) исходные законы, по которым мозг строит осмысленные образы.

Сказ о потерянной биологии

История современных нейросетей часто подается так, будто мы постепенно приближаемся к биологии: сначала примитивные «нейроны» Маккалока‑Питтса, затем более сложные архитектуры, от Хопфилда до глубинных сетей Хинтона, и, наконец, масштабные модели, которые якобы начинают делать то же, что мозг. На самом деле, все происходит ровно наоборот: по мере успеха моделей биология из них последовательно вырезается. Сама по себе эволюция идеи ИИ, с самого ее зарождения в середине прошлого века, уходит все дальше от биологии. Почему? Да потому что с биологией так и не научились дружить: оказалось куда проще получить результаты в виде технических решений с помощью старых добрых подходов. В этом нет ничего плохого с точки зрения технического прогресса, но если смотреть на всё это варево, допустим, как на дипломную работу, или курсовую, или даже сочинение, то мы увидим, что от первоначальной заявки — получить искусственный интеллект — не осталось примерно ничего. «Ну не шмогла я».

(Кажется, я дожил до возраста, когда цитирую старые анекдоты; еще чуть‑чуть, и пойдут цитаты из советских фильмов, а там и крылатые выражения типа «пешком посижу»).

Подход ТАРе принципиально иной: Теория рассматривает врожденные механизмы восприятия, как реальные нейронные системы членят реальность на первичные элементы и связывают их между собой. В общем‑то, делает то, о чем некогда мечталось отцам‑основателям индустрии так называемого искусственного интеллекта: воссоздает принципы обработки информации мозгом. Язык Мышления — символьная система, которую мозг сам сформировал как результат взаимодействия с миром. Наблюдать и описывать эту систему сложно, но это прямое движение к первоисточнику, а не к аналогии.

Именно Язык Мышления и задает те элементы и связи, которые позволяют мозгу быть одновременно выразительным и энергоэффективным. И именно здесь ТАРе, опирающийся на врожденные механизмы восприятия и их символьное кодирование, предлагает более реалистичный путь к моделированию мышления, чем наращивание мегаватт и параметров в очередной модели нейросети.

Хопфилд, Джон. Хинтон, Джерри.

Знаменитая работа Джона Хопфилда от 1982 года об ассоциотивных нейронных сетях возникла на стыке физики твердого тела и биологии. Наблюдая за биологическими системами и обсуждая парадоксы вроде «левинталевского» (как белок так быстро находит правильную конформацию?), он пытался формально описать переходы системы к устойчивым состояниям. И смог он это благодаря не нейробиологии, а прекрасно знакомой ему физики: модели конвергентных полей, энергетические ландшафты, аналогия с отжигом металлов, где нагрев и охлаждение ведут к тому, что структура сама «находит» низкоэнергетические конфигурации. Так родились энергетические функции, «катящиеся шарики» и прочие метафоры, которые легли в основу хопфилдовских сетей.

Иными словами, Хопфилд «подглядел» за биологическими процессами, но описывать их стал через физические законы. Это был первый шаг (один из) в сторону абстракции, от живой ткани к удобной математике через известную ему физику. По этой дороге были потери, которыми мир науки, кажется, пренебрегает до сих.

Уважаемый Джерри Хинтон сделал следующий шаг — и этот шаг был, может быть, еще более радикальным. Ограниченные машины Больцмана и другие его модели опираются на ту же идею энергетических состояний, но от биологии в них практически ничего не осталось. Чтобы модели заработали на реальном железе и реальных данных, пришлось «кастрировать» хопфилдовскую многомерность и всесвязанность, резко упростить структуру, сделать ее инженерно реализуемой. Иначе ничего не работало. Так появилось то, что появилось. Имеем то, что имеем.

У Хинтона получилось, но модель стала еще дальше от биологии, чем в случае с Хопфилдом. А слово «интеллект», пусть и с приставкой «искусственный» осталась. Воля ваша, можно что угодно называть как угодно. Как это делали родители запертых в поместье детей в фильме «Клык».

Однако сколько искусственный интеллект ни называй интеллектом, интеллектом он не станет. Со всеми его непреодолимыми ограничениями.

Хинтон против Хомского: врожденность и цена энергии

Какой русский не любит наблюдать за заочным спором Хинтона с Хомским о языке!

Напомним, Хомский настаивает на врожденном механизме языка (innate), утверждая, что язык в полном объеме невозможно «выучить» с нуля, он опирается на некую глубинную структуру, заданную мозгу.

Хинтон возражает: раз языковая модель обучается на текстах и демонстрирует впечатляющие результаты, значит, язык — это то, чему можно научить машину.

В чем сила? Где правда?

Можно спорить, конечно (или бесконечно). Но давайте просто посмотрим на количество энергии, необходимое для решение задачи. Хомский в своих работах прозорливо догадывался и доказывал, что мозг работает с языком максимально эффективно с точки зрения энергетических затрат; как именно это происходит, он до конца не понимал, но понимал, что это так (вывод вроде бы очевидный, но не всем дается).

И действительно, современные модели могут копировать часть языковых функций, однако делают это ценой ресурсов, несопоставимых с теми, которые тратит мозг. Врожденный механизм языка оказывается не только качественно иным по структуре, но и радикально более эффективным. ИИ, реализуя, по сути, только малую часть языковых процессов, тратит при этом во много, во много‑много‑много раз больше энергии, чем человеческий мозг.

Ну и что, спросите вы. Тут важно оговориться (еще раз), что мы не против искусственного интеллекта. Мы лишь призываем рассмотреть его объективно, с холодной головой научного знания. Без ненужных восторгов. Гениальная технология — которой важно указать ее правильное место. Это важно для развития науки и технологий в целом.

Так вот. Если наука о мозге пока не дошла до полного описания языкового механизма, а ИИ при этом решает задачи перебором по триллионам параметров и связей, то у нас, собственно, вопрос: какие закономерности мы, человеки, действительно поймали, а какие заменили грубой силой вычислений?

А с другой стороны, если короткая формула теории вероятностей описывает явление, которое ИИ моделирует гигантской сетью, — в чью пользу здесь сравнение? В мире, где энергия стала ограничивающим ресурсом, вопрос «почем?» перестает быть риторическим и становится центральным.

Все это поднимает вопрос о так называемой неполноте науке и неполноты методов машинного обучения. Об этом попозже.

Тензоры, грамматика и уровни Языка Мышления

В математике последние десятилетия принято говорить о скалярах, векторах и тензорах, переводя сложные явления в многомерные структуры.

Тензор нулевого порядка — число, первый порядок — вектор, второй и выше — уже полноценные многомерные объекты. Из тензора мы можем получить вектор и скаляр, но путь обратно, от скаляра к тензору, практически закрыт. На одно и то же число может «схлопываться» огромное количество разных векторов и тензоров, и попытка восстановить исходную структуру по одному скаляру в общем случае обречена.

В TAPe — как части Языка Мышления — мы ввели иной способ исчисления, в котором операции определяются свойствами самих элементов и их многомерных отношений. В таком исчислении меняется смысл элементов и набор законов их сочетания.

Нас интересует не столько конечное число, сколько структура, из которой оно получено. Поэтому наш подход значительно превосходит тензорное исчисление — и, например, поэтому в наших моделях десятки тысяч параметров, а в основанных на тензорных вычислениях — миллиарды. 

Дело в том, что гораздо продуктивнее «подсматривать» туда, где скаляр виден вместе со своими «предками» — где мы знаем не только конечное число, но и структуру, из которой оно возникло.

В терминах математики это означает двигаться от интегрального, многомерного описания к частным значениям, а не наоборот; в терминах Языка Мышления — исходить из тех структур, в которых перцепция, символ и операция на этих символах еще не разорваны, то есть от первичных элементов восприятия и их связей.

В индустрии ИИ часто вынужденно идут самым тяжелым путем: берут данные уже в виде скаляров (чисел, эмбеддингов, заранее выбранных признаков) и пытаются через огромный перебор параметров восстановить нечто похожее на векторы и тензоры — скрытые представления высокого порядка. В сущности, это попытка «догадаться», какая сложная структура стоит за набором чисел, не имея доступа к тому, как эта структура формировалась.

Грамматика

Эта логика хорошо перекладывается и на язык в узком смысле.

Можно условно выделить три уровня грамматики: школьную/университетскую грамматику («скалярный» уровень), универсальную грамматику в духе Хомского («векторный» уровень) и то, что можно назвать «гениальной грамматикой» — глубокий, «тензорный» уровень организации Языка Мышления.

Школьная грамматика описывает формы, окончания, суффиксы, правила постановки запятых; универсальная грамматика пытается уловить более общие шаблоны, но остается преимущественно словесной гипотезой; а «гениальная грамматика» — это тот уровень, на котором мозг действительно склеивает смыслы из восприятия и внутреннего Языка Мышления. Лингвистика фактически застряла на первых двух ступенях: от Хомского до его учеников прорыва, сопоставимого по масштабу с тем, что сделал Галуа для математики, в грамматике не произошло.

А использовать школьную грамматику как базу для реконструкции Языка Мышления так же наивно, как пытаться построить тензор только по его скалярным проекциям. Мы видим числовой результат, но почти ничего не знаем о многомерной структуре, стоящей за ним. Методы ТАРе как части Языка Мышления работают с элементами и законами их сочетания, которые ближе к реальной символике мозга, чем к школьным правилам. ИИ может быть полезным инструментом — грубым силовым механизмом перехода от вектора к тензору, — но не источником методологии: он перебиратель, а не автор структур.

Теория Активного Восприятия предлагает нечто совсем другое, чем тензорное представление. Если ИИ и классическая грамматика поднимаются от скаляров, пытаясь догадаться о структуре, которая их породила, то ТАРе как часть Языка Мышления предлагает двигаться от структуры восприятия — условно от «тензорного уровня» — к конкретным выражениям и числам.

Абстракции против примеров: где теряется мышление

Как современная наука зачастую обращается с абстракциями?

В типичной истории развития формальных дисциплин реальная задача из жизни — «пример» — довольно быстро утопает в слоях формул, определений и законов, которые должны ее описывать или решать. Через какое‑то время сами эти абстракции начинают жить самостоятельно: появляются новые теоремы, конструкции и вычислительные трюки, а исходный «жизненный пример» оказывается практически забытым. В такой ситуации легко не заметить, что исходный выбор абстракций мог быть неверным или слишком грубым, и именно он ограничивает дальнейшие возможности теории. Зато как приятно плодить разнообразные формулы, которые работают только в кабинетах и лабораториях, но не в реальном мире!

Математика и ИИ дают множество примеров подобного «отрывания» от задачи. Понятия вроде мнимых чисел, чисел с плавающей запятой, специфических схем оптимизации и сложных архитектур появились как попытка справиться с реальными задачами. Сегодня все эти понятия сами по себе диктуют рамки мышления и инженерных решений. Схема «есть данные — есть функция потерь — есть процедура обучения» превращается в самоцель. В то время как вопрос, адекватны ли эти абстракции самой структуре реальности и восприятия, часто остается за скобками. Такой путь все дальше уводит от примера и все глубже погружает в мир собственных формализмов.

Как быть? Ну, мы, например, в рамках разработки TAPe (как части Языка Мышления) пытаемся работать с первичными элементами, максимально близкими к реальному восприятию: к тому, как зрительная система членит поток реальности на линии, контуры, структуры. Эти элементы не придуманы «с нуля» в голове отдельного ученого, а выделены из самого процесса восприятия, прошедшего фильтр эволюции и огромного количества практических «примеров» взаимодействия с миром. В этом смысле Язык Мышления — система, которая непосредственно опирается на структуру реальности, как она дается органам чувств.

И в этом смысле нам всем повезло со зрительным восприятием (не только в этом смысле, конечно, но и в этом тоже): оно не останавливается, а непрерывно подает в аппарат Языка Мышления новые данные, независимо от того, как мы их описываем в теории.

Каждый шаг, каждый взгляд в окно — это очередной акт формирования и переработки первичных элементов. Понять и описать, как эти первичные элементы формируются и перерабатываются — значить получить доступ к новым способам обработки информации вместо того, чтобы выдумывать свои, максимально далекие от реальности, как это и происходит сейчас. Чем мы и успешно занимаемся.

Неполнота матаппарата: почему ИИ «обгоняет» своих создателей

В ряде областей ИИ побеждает не потому, что он «умнее» человека, а потому что использует более мощный и гибкий математический аппарат, чем тот, которым человечество до сих пор довольствовалось. Когда языковые модели научились решать практические задачи (перевод, поиск, генерация текста) лучше, чем любые предыдущие системы, оказалось, что команды лингвистов, нанятых было бигтехами, уже не могут предложить существенных улучшений. «Зачем вы нужны, если ваши правила и словари больше не улучшают результат?».

В чьих‑то глазах это может выглядеть как поражение лингвистики и победа ИИ, но есть нюанс. Ведь на самом деле это является поражением математического формализма, на котором эта лингвистика стояла: грамматик, вероятностных моделей, статистических трюков, которые описывали язык через набор аппроксимаций.

То же самое происходит с классическими методами обработки изображений: свертки, заранее заданные фильтры, строгие математические конструкции, казавшиеся когда‑то вершиной элегантности, внезапно проигрывают нейросетям, которые подбирают фильтры автоматически. Значит ли это, что ИИ «понимает» изображение лучше, чем человек? Конечно нет. Это значит, что исходный матаппарат был недостаточно хорош. В свертку и фильтры изначально заложены неправильные допущения и ограничения, и достаточно общего численного метода, чтобы обгонять их на каждом повороте.

А вот там, где речь идет о фундаментальных законах — о том, чтобы впервые записать формулу Эйнштейна или вывести второе уравнение Ньютона — ИИ бессилен.

ИИ может подбирать параметры и аппроксимировать сложные зависимости за счет переваривания огромной массы данных, но не создает новых концептуальных рамок. В задачах, где концептуальная ясность исторически была слабой, а пространство параметров огромно, ИИ выигрывает за счет чистой вычислительной силы и более удобного для него математического языка: он не связан старой системой констант, линейных приближений и жестких фильтров.

Нынешняя математика текста, свертки, многих прикладных областей вполне вероятно содержит как минимум грубые упрощения, а возможно и фундаментальные ошибки. Вот это мы и называем неполнотой науки. Наука увлеклась абстракциями. Получается замкнутый круг.

Язык Мышления супротив ИИ. Часть 2. Краткая.

Итак, ИИ, каким мы его знаем, развивался как инженерная ветка: от сильно упрощенных моделей нейронов к все более мощным статистическим машинам. Он показал, что на языке чисел и вероятностей можно приблизиться к решению ряда интеллектуальных задач, включая перевод, классификацию, генерацию текстов. Ура!

Язык Мышления — наоборот: в рамках Теории активного восприятия он начинается с попытки описать эти элементы и законы, а потом уже спрашивает, какие вычислительные системы их могут реализовать. TAPe как часть Языка Мышления моделирует работу врожденных механизмов восприятия, описывает взаимодействие первичных элементов, показывает, как из чувственного опыта вырастает символьная система, а из нее — естественный язык. В результате появляется связка: органы чувств → Язык Мышления → естественный язык и вычисление. Мы это прозвали языкоматематикой.

Что удалось добиться, используя методы TAPe? Довольно многого. О превосходстве методов TAPe, выраженном в разработке и запуске в прод системы компьютерного зрения, превосходящей по точности и эффективности любые SOTA-модели мы писали на Хабре:

1. Мы сделали модель распознавания для любых задач компьютерного зрения – и выше уровня SOTA

2. Мы улучшили модель для любых CV-задач, добавив сегментацию. И еще лучше SOTA

О том, как наша модель превосходит любые методы – от классических математичесчких до современных и несовременных ML-моделей – в решении задачи сегментации видео:

Наш «домашний» НИИ обошёл DINOv2, ViT и десятки ML‑моделей в сегментации видео

Все эти технические достижения, которые в другой реальности уже сформировали бы новую технологическую эпоху в мире, удались благодаря многолетним R&D в области TAPe и – в 2026 году – активной разработке продуктов на основе методов TAPe.

Но помимо технических и прочих побед для нас это еще и доказательство для urbi et orbi, что альтернатива искусственному интеллекту есть, и это – Язык Мышления, символьная система, в которой мозг изначально видит, членит и «пересобирает» реальность.

Всё.

Источник: habr.com