Никто до конца не понимает, что происходит внутри нейросетей О…

Никто до конца не понимает, что происходит внутри нейросетей

О том, как работает любая техника, можно узнать из инструкций, справок и прочей документации. А в случае ИИ её нет даже у его создателей. И они тратят много сил, чтобы разобраться во внутренних процессах нейросетей.

Как так получилось

Дело в том, как ИИ создаётся: инженеры выстраивают только архитектуру и отбирают данные для обучения, а потом триллионы параметров настраиваются в процессе сами. А порой появляются так называемые эмерджентные свойства — способности нейросети, которые никто не программировал и которым она научилась сама. Из-за этой особенности ИИ часто называют чёрным ящиком.

Как изучают внутренние процессы ИИ

Anthropic, OpenAI и другие компании нанимают отдельных исследователей, задача которых — разбираться, как думают нейросети. Их методы ближе к нейробиологии, чем к инженерии или разработке. Например, они стимулируют конкретные участки ИИ, чтобы отследить, как это влияет на выдачу. Для этого исследователи регистрируют, что происходит внутри нейросети при составлении ответа, а потом расшифровывают этот массив данных с помощью других нейросетей-автоэнкодеров в знакомые человеку понятия и ищут закономерности.

Какие открытия уже сделали

🔵 сочиняя стихи, модели не просто подбирают последующие слова одно за другим, а выбирают рифму заранее и строят строку под неё

🔵 ИИ делает математические вычисления своим странным методом, а в выдаче может писать более понятные человеку способы вроде сложения столбиком

🔵 рассуждая, модели опираются на внутренние понятия сомнения и самопроверки — если их искусственно усилить, модель чаще перепроверяет себя и лучше решает задачи.

Недавно исследователи Anthropic нашли у Claude что-то вроде «сознательных мыслей» — пространство, в котором ИИ держит слова «на уме», не фиксируя их в цепочке рассуждений. Например, если спросить у нейросети, сколько ног у животного, которое плетёт паутину, она ответит «восемь» — в J-space загорится слово «паук», хотя его не было ни в вопросе, ни в ответе. А если вручную поменять это слово на «муравей», то и ответ станет «шесть».

Почему исследования идут медленно

На регистрацию и анализ ответа нейросети даже на простейшие запросы уходят часы, да и никто толком не знает, что надо искать. Поэтому исследователи только начали заглядывать в чёрный ящик ИИ. Этим занимаются не только крупные компании, но и независимые исследователи. Однако для них эта задача сложнее, потому что далеко не все разработчики хотят показывать внутренности своих моделей.