Малые языковые модели: 10 прорывных технологий 2025 года

Большие языковые модели раскрыли потенциал ИИ. Теперь пришло время более эффективным ИИ взять верх.

ВОЗ

Институт Аллена по искусственному интеллекту, Anthropic, Google, Meta, Microsoft, OpenAI

КОГДА

Сейчас

Не заблуждайтесь: размер имеет значение в мире ИИ. Когда OpenAI запустила GPT-3 в 2020 году, это была самая большая языковая модель из когда-либо созданных. Компания продемонстрировала, что сверхбольшой размер модели такого типа достаточно для заоблачного роста производительности. Это положило начало технологическому буму, который с тех пор поддерживается более крупными моделями. Как заявил Ноам Браун, научный сотрудник OpenAI, выступая на конференции TEDAI в Сан-Франциско в октябре: «Невероятный прогресс в области ИИ за последние пять лет можно описать одним словом: масштаб».

Но поскольку незначительный прирост производительности новых высококлассных моделей снижается, исследователи ищут способы сделать больше с меньшими ресурсами. Для некоторых задач модели меньшего размера, обученные на более специализированных наборах данных, теперь могут выполнять задачи не хуже, а то и лучше, чем модели большего размера. Это настоящее благо для компаний, стремящихся внедрить ИИ в ограниченном количестве специализированных приложений. Вам не нужен весь интернет в вашей модели, если вы снова и снова отправляете одни и те же запросы.

Связанная история

Искусственный интеллект может вывести нас на путь экономического процветания, но для этого потребуются серьезные корректировки курса.

Большинство крупных технологических компаний теперь предлагают уменьшенные версии своих флагманских моделей для этой цели: OpenAI предлагает GPT-4o и GPT-4o mini; Google DeepMind — Gemini Ultra и Gemini Nano; а Claude 3 от Anthropic выпускается в трёх вариантах: большой Opus, средний Sonnet и крошечный Haiku. Microsoft является пионером в разработке серии небольших языковых моделей под названием Phi.

Всё больше компаний малого бизнеса предлагают небольшие модели. Стартап в области искусственного интеллекта Writer утверждает, что его новейшая языковая модель не уступает по эффективности крупнейшим моделям высшего уровня по многим ключевым показателям, хотя в некоторых случаях число параметров (значений, которые рассчитываются во время обучения и определяют поведение модели) в два раза меньше.

Ознакомьтесь с полным списком 10 прорывных технологий 2025 года.

Модели меньшего размера более эффективны, что позволяет быстрее тренироваться и работать на них. Это хорошая новость для тех, кто ищет более доступный вариант для старта. И это может быть полезно для климата: поскольку модели меньшего размера работают с гораздо меньшей вычислительной мощностью, чем их гигантские собратья, они потребляют меньше энергии.

Эти небольшие модели также удобны для путешествий: они могут работать прямо у нас в кармане, без необходимости отправлять запросы в облако. Компактность — это следующий большой шаг.

2025

10 прорывных технологий

Источник: www.technologyreview.com