Два AMD Strix Halo в AI‑инфраструктуре: 34 контейнера на одном, ~70 tok/s Qwen3.6 на другом
На узле моей AI‑платформы крутятся 34 контейнера: Dify, RAGFlow, векторные базы, мониторинг и SSO. Большой языковой модели среди них нет: основную генерацию стек получает по LAN с DGX Spark. На втором таком же мини‑ПК я отдельно поднял локальную Qwen3.6–35B‑A3B и прогнал серию замеров от 1K до 64K при контекстном окне 256K.
Обе машины — Beelink GTR9 Pro на Ryzen AI Max+ 395 (Strix Halo). Ниже — что эти коробки реально умеют: 117,4 ГиБ GTT после настройки ttm.pages_limit, p50/p95 локальных эмбеддингов и реранка, около 70 tok/s генерации через Vulkan/RADV и три грабли gfx1151.
Читать далее
Источник: habr.com
Похожие записи
Оцените материал:
Поделиться
Понравилась статья? Расскажите другим
Новости робототехники
От электронных таблиц к искусственному интеллекту: Deere предоставляет фермерам новые функции в Операционном центре, JD
Архив рубрики ~Полезное~
9 бесплатных нейросетей для генерации картинок: гайд для новичка (2026)
Архив рубрики ~Коротко из Telegram~
Цифра дня: мемная робоутка принесла Hugging Face $2,6 млн всего…
Архив рубрики ~Полезное~
Полезный лайфхак: любую статью с arXiv можно за секунду превратить…
Архив рубрики ~Коротко из Telegram~
Нейросети способны выдавать гораздо более глубокие и точные результаты, если…
Архив рубрики ~Коротко из Telegram~
Пять практичных способов использовать нейросети эффективнее — от тонкой настройки…
Архив рубрики ~Коротко из Telegram~
Утренний дайджест на 01.09 2026 1️⃣ Правообладатели смогут запрещать использование…
Архив рубрики ~Коротко из Telegram~
Дуров сообщил о запуске нового некастодиального Gram Wallet – пока…
Архив рубрики ~Коротко из Telegram~
VideoCoCo Генератор видео с физически корректной анимацией. Использует код как…
Архив рубрики ~Коротко из Telegram~
Первой страной, где всем жителям бесплатно (!) дадут нейронку без…
Архив рубрики ~Коротко из Telegram~
Парень сделал отслеживание рук в реальном времени с физикой цифровой…
Архив рубрики ~Коротко из Telegram~
Незаметно для многих мы вступили, а точнее провалились, в эпоху…
Архив рубрики ~Коротко из Telegram~
Разговор с чат-ботом всё чаще становится рекламным активом ChatGPT начал…
Архив рубрики ~Коротко из Telegram~
Счетная палата начала оценивать, насколько эффективно IT-компании используют налоговые льготы….
Новости робототехники
От электронных таблиц к искусственному интеллекту: Deere предоставляет фермерам новые функции в Операционном центре, JD
Архив рубрики ~Полезное~
9 бесплатных нейросетей для генерации картинок: гайд для новичка (2026)
Архив рубрики ~Коротко из Telegram~
Цифра дня: мемная робоутка принесла Hugging Face $2,6 млн всего…
Архив рубрики ~Полезное~
Полезный лайфхак: любую статью с arXiv можно за секунду превратить…
Архив рубрики ~Коротко из Telegram~
Нейросети способны выдавать гораздо более глубокие и точные результаты, если…
Архив рубрики ~Коротко из Telegram~
Пять практичных способов использовать нейросети эффективнее — от тонкой настройки…
Архив рубрики ~Коротко из Telegram~
Утренний дайджест на 01.09 2026 1️⃣ Правообладатели смогут запрещать использование…
Архив рубрики ~Коротко из Telegram~
Дуров сообщил о запуске нового некастодиального Gram Wallet – пока…
Архив рубрики ~Коротко из Telegram~
VideoCoCo Генератор видео с физически корректной анимацией. Использует код как…
Архив рубрики ~Коротко из Telegram~
Первой страной, где всем жителям бесплатно (!) дадут нейронку без…
Архив рубрики ~Коротко из Telegram~
Парень сделал отслеживание рук в реальном времени с физикой цифровой…
Архив рубрики ~Коротко из Telegram~
Незаметно для многих мы вступили, а точнее провалились, в эпоху…
Архив рубрики ~Коротко из Telegram~
Разговор с чат-ботом всё чаще становится рекламным активом ChatGPT начал…
Архив рубрики ~Коротко из Telegram~
Счетная палата начала оценивать, насколько эффективно IT-компании используют налоговые льготы….
Присоединяйтесь и подпишитесь на рассылку самых свежих новостей по Email
Получайте свежие новости и идеи на почту. Без спама — только самое интересное.
Нажимая «Подписаться», вы соглашаетесь с политикой конфиденциальности.