Quest Research, поддержанная фондом Ubiquant, представила (https://iquestlab.github.io/) 40-миллиардную модель c контекстным окном в 128K токенов, которая, со слов авторов, выбивает 81,4% на SWE-Bench Verified, 49,9% на BigCodeBench и 81,1% на LiveCodeBench v6.
Это превосходит показатели Claude Sonnet 4.5 и GPT-5.1, несмотря на значительно меньшее количество параметров.
Модель использует технику «code-flow» — обучение на эволюции репозиториев и коммитах, и разделена на 2 ветки:
Dense Models : Base (https://huggingface.co/IQuestLab/IQuest-Coder-V1-40B-Base) и Instruct (https://huggingface.co/IQuestLab/IQuest-Coder-V1-40B-Instruct) версии для дообучения и следованию инструкциям
Loop Models: оптимизированная версия (https://huggingface.co/IQuestLab/IQuest-Coder-V1-40B-Loop-Instruct) с максимальной эффективностью по VRAM (int4 может запускаться на 30904090)
Архитектура LoopCoder использует циклическую конструкцию трансформера, где одни и те же параметры модели используются в 2-х последовательных проходах обработки данных.
На первом проходе модель обрабатывает эмбеддинги через свои слои с учетом позиций слов.
На втором проходе модель одновременно использует два типа внимания: глобальное внимание, которое обращается ко всей информации из первого прохода для понимания общего контекста, и локальное внимание, которое смотрит только на предыдущие слова во втором проходе для сохранения последовательности текста.
Оба типа внимания комбинируются с помощью механизма, который решает, сколько веса дать глобальному контексту, а сколько локальной последовательности.
В техотчете заявлены еще 7B и 14B версии, но сроки их публикации неизвестны.
Лицензирование: Modified MIT License (https://huggingface.co/IQuestLab/IQuest-Coder-V1-40B-Instruct/blob/main/LICENSE)
Страница проекта (https://iquestlab.github.io/)
Техотчет (https://github.com/IQuestLab/IQuest-Coder-V1/blob/main/papers/IQuest_Coder_Technical_Report.pdf)
Набор моделей (https://huggingface.co/collections/IQuestLab/iquest-coder)
GitHub (https://github.com/IQuestLab/IQuest-Coder-V1)
Источник: github.com
Источник: ai-news.ru
