Исследователи изучили, как языковые модели обрабатывают несколько потоков текста, и…

➡️ Исследователи изучили, как языковые модели обрабатывают несколько потоков текста, и обнаружили, что их ответы могут сочетать информацию из разных источников. Это свойство назвали линейной суперпозицией: модель способна объединять два входа так, что её предсказания отражают оба варианта продолжения.

По результатам работы, такая особенность связана с архитектурой Transformer, а не только с обучением. Авторы также показали, что её можно усилить дополнительной настройкой модели, а специальный метод декодирования позволяет получить два связных продолжения за один проход.

🔥 Это пока исследовательский результат, а не доказательство того, что ИИ буквально думает как человек или обладает двумя независимыми мыслями. Но он может помочь лучше понять, как модели обрабатывают и комбинируют информацию.