Вместо использования текстовых токенов китайская компания ИИ упаковывает информацию в изображения.
Модель искусственного интеллекта, выпущенная китайской компанией DeepSeek, использует новые методы, которые могут значительно улучшить способность искусственного интеллекта «запоминать».
Представленная на прошлой неделе модель оптического распознавания символов (OCR) работает путем извлечения текста из изображения и преобразования его в машиночитаемые слова. Эта же технология используется в приложениях для сканирования, переводе текста на фотографиях и многих инструментах доступности.
OCR — это уже зрелая область с многочисленными высокопроизводительными системами, и, согласно статье и некоторым ранним обзорам, новая модель DeepSeek демонстрирует результаты на уровне лучших моделей по основным показателям.
Однако исследователи утверждают, что главное новшество модели заключается в том, как она обрабатывает информацию, а именно в том, как она хранит и извлекает воспоминания. Улучшение того, как модели ИИ «запоминают» информацию, может снизить требуемую для их работы вычислительную мощность, тем самым смягчая значительный (и растущий) углеродный след ИИ.
Связанная история
В настоящее время большинство крупных языковых моделей разбивают текст на тысячи мельчайших единиц, называемых токенами. Это превращает текст в представления, понятные моделям. Однако хранение и обработка этих токенов быстро становятся дорогостоящими по мере увеличения продолжительности общения с конечными пользователями. Когда пользователь общается с ИИ в течение длительного времени, это может привести к тому, что ИИ забудет то, что пользователь ему уже сказал, и информация будет искажена. Эту проблему некоторые называют «контекстной порчей».
Новые методы, разработанные DeepSeek (и опубликованные в последней статье), могут помочь решить эту проблему. Вместо того, чтобы хранить слова в виде токенов, система упаковывает письменную информацию в изображение, словно фотографируя страницы книги. Исследователи обнаружили, что это позволяет модели сохранять практически тот же объём информации, используя гораздо меньше токенов.
По сути, модель OCR представляет собой испытательный полигон для этих новых методов, которые позволяют более эффективно упаковывать больше информации в модели ИИ.
Помимо использования визуальных токенов вместо текстовых, модель построена на многоуровневом сжатии, которое напоминает процесс стирания памяти у людей: более старый или менее важный контент хранится в несколько более размытом виде для экономии места. Несмотря на это, авторы статьи утверждают, что такой сжатый контент может оставаться доступным в фоновом режиме, сохраняя при этом высокий уровень эффективности системы.
Текстовые токены долгое время были стандартным строительным блоком в системах искусственного интеллекта. Использование визуальных токенов вместо них нетрадиционно, и поэтому модель DeepSeek быстро привлекает внимание исследователей. Андрей Карпати, бывший руководитель Tesla AI и один из основателей OpenAI, высоко оценил статью о X, заявив, что изображения в конечном итоге могут оказаться более эффективными, чем текст, в качестве входных данных для LLM. Текстовые токены могут быть «расточительны и просто ужасны на входе», написал он.
Мэнлинг Ли, доцент кафедры компьютерных наук Северо-Западного университета, говорит, что статья предлагает новую концепцию решения существующих проблем в области памяти искусственного интеллекта. «Хотя идея использования токенов на основе изображений для хранения контекста не совсем нова, это первое исследование, которое, как мне кажется, заходит так далеко и показывает, что это действительно может работать», — говорит Ли.
По словам Цзихана Вана, аспиранта Северо-Западного университета, этот метод может открыть новые возможности для исследований и приложений в области искусственного интеллекта, особенно для создания более полезных ИИ-агентов. Он считает, что, поскольку взаимодействие с ИИ происходит непрерывно, этот подход может помочь моделям запоминать больше и эффективнее помогать пользователям.
Эту технологию также можно использовать для получения дополнительных данных для обучения моделей искусственного интеллекта. Разработчики моделей в настоящее время сталкиваются с острой нехваткой качественного текста для обучения систем. Однако в статье DeepSeek говорится, что система OCR компании может генерировать более 200 000 страниц обучающих данных в день на одном графическом процессоре.
Однако эта модель и статья представляют собой лишь раннее исследование использования токенов изображений, а не текстовых токенов для запоминания ИИ. Ли говорит, что надеется увидеть применение визуальных токенов не только для хранения информации, но и для рассуждений. По её словам, в будущих исследованиях следует изучить, как сделать так, чтобы память ИИ стиралась более динамично, подобно тому, как мы можем вспомнить переломный момент много лет назад, но забыть, что ели на обед на прошлой неделе. В настоящее время, даже с использованием методов DeepSeek, ИИ склонен забывать и помнить очень линейно — вспоминая то, что было последним, но не обязательно самым важным, говорит она.
Несмотря на попытки не привлекать к себе внимания, компания DeepSeek, базирующаяся в Ханчжоу (Китай), заслужила репутацию компании, продвигающей передовые разработки в области искусственного интеллекта. В начале этого года компания потрясла отрасль, выпустив DeepSeek-R1 — модель рассуждений с открытым исходным кодом, которая по производительности не уступала ведущим западным системам, несмотря на значительно меньшие вычислительные ресурсы.
Источник: www.technologyreview.com
