Мощные языковые модели поехали в смартфоны: семейство Ornith-1.5 запускается на…

Мощные языковые модели поехали в смартфоны: семейство Ornith-1.5 запускается на iPhone и Android
Вышло семейство моделей Ornith-1.5, которое позволяет запускать серьёзные языковые модели прямо на телефоне — без облака и без подписок. В линейке есть версии под разную мощность устройств, а младшая модель на 9B параметров, по заявленным бенчмаркам, обходит заметно более тяжёлых конкурентов.

Ключевые параметры: контекст до 256 тысяч токенов, мультимодальность и автоматическое разбиение сложной задачи на подзадачи с последующим решением по шагам. Для локальной модели контекст такого размера — редкость: это уже уровень работы с большими документами, а не короткими репликами.

Практический смысл в приватности и независимости. Всё, что вы отправляете модели, остаётся на устройстве: ни счетов за API, ни отправки данных на чужие серверы, ни зависимости от того, работает ли сегодня сервис.

Забрать модель можно здесь: https://huggingface.co/ornith-ai/Ornith-1.5-9B-GGUF