Архив рубрики ~Коротко из Telegram~
FreeToken обещает запускать MoE-модели до 753 млрд параметров на одной…
Заявленный диапазон впечатляет: от 35 млрд параметров на обычном ноутбуке до 753 млрд на мощной рабочей станции. В MoE-моделях на каждом шаге активируется лишь небольшая часть «экспертов», поэтому держать в видеопамяти всю модель целиком не обязательно — остальное можно вынести в оперативную…
Читать