Samsung Labs выпустила Samsone — аудиомодели, которые работают прямо на…

Samsung Labs выпустила Samsone — аудиомодели, которые работают прямо на смартфоне

Они принимают один или несколько аудиофрагментов вместе с текстовым запросом, а в ответ выдают текст. То есть модель можно попросить описать запись, ответить на вопрос по звуку или сравнить несколько клипов.

Что умеет Samsone:
— описывать звук
— отвечать на вопросы о записи
— сравнивать аудиофрагменты
— понимать речь, музыку и звуки окружения
— принимать несколько аудио прямо внутри одного запроса

Есть забавный компромисс: ответы модель выдаёт только на английском и строчными буквами. Не стиль такой, а экономия параметров. Красота, как говорится, требует урезания алфавита.

Архитектура компактная: аудиоэнкодер Whisper-Tiny 9M плюс SmolLM2 на 135 млн или 360 млн параметров. Каждый клип сжимается до 50 аудиотокенов, между фрагментами используется разделитель SEP.

На Galaxy S25 Ultra скорость такая:
— 99M: 125 токенов/сек
— 134M: 87 токенов/сек
— 356M: 39 токенов/сек
Обработка аудио занимает примерно 0,7–1,1 секунды.