«Яндекс» выложил в опенсорс Alice AI Search Pretrain — модель,…

«Яндекс» выложил в опенсорс Alice AI Search Pretrain — модель, обученную с нуля специально для высоконагруженного поиска. Она содержит 35 млрд параметров, но на каждом токене активируется лишь около 600 млн, поэтому по стоимости инференса работает ближе к небольшой модели. Обучение проводилось на 15 трлн токенов, а контекст расширили до 128K.

В продовом пайплайне перед генератором используется отдельная модель на 80 млн параметров, которая отбирает наиболее полезные фрагменты документов и повышает пропускную способность примерно на 40%. Готовую модель теперь можно скачать с Hugging Face, дообучить и использовать, например, для корпоративного поиска или клиентских ассистентов. При этом для полноценной системы понадобятся не только сама модель, но и поиск, извлечение контекста и соответствующая инфраструктура.