Два AMD Strix Halo в AI‑инфраструктуре: 34 контейнера на одном, ~70 tok/s Qwen3.6 на другом
На узле моей AI‑платформы крутятся 34 контейнера: Dify, RAGFlow, векторные базы, мониторинг и SSO. Большой языковой модели среди них нет: основную генерацию стек получает по LAN с DGX Spark. На втором таком же мини‑ПК я отдельно поднял локальную Qwen3.6–35B‑A3B и прогнал серию замеров от 1K до 64K при контекстном окне 256K.
Обе машины — Beelink GTR9 Pro на Ryzen AI Max+ 395 (Strix Halo). Ниже — что эти коробки реально умеют: 117,4 ГиБ GTT после настройки ttm.pages_limit, p50/p95 локальных эмбеддингов и реранка, около 70 tok/s генерации через Vulkan/RADV и три грабли gfx1151.
Читать далее
Источник: habr.com
Похожие записи
Оцените материал:
Поделиться
Понравилась статья? Расскажите другим
Новости робототехники
10 главных историй о робототехнике за август 2026 года
Архив рубрики ~Коротко из Telegram~
Perplexity умеет намного больше чем вы просите Большинство используют его…
Архив рубрики ~Коротко из Telegram~
Anthropic релизнули Claude Fable 5.1 и Mythos 5.1. Fable заметно…
Архив рубрики ~Коротко из Telegram~
ИИ уже генерирует целые города: вышел обновлённый плагин City Sample…
Архив рубрики ~Обо всем~
Отображение глобальных выбросов метана из космоса с помощью глубокого обучения.
Архив рубрики ~Обо всем~
[Перевод] SmileLadder. Цикл «Управление вниманием»: тета‑ритм мозга как «метка» для запоминания
Новости робототехники
Виско запускает живую модель Orbis и завершает раунд предыдущего финансирования
Архив рубрики ~Обо всем~
Шум как первоязык: системно-информационный взгляд на лингвистику
Новости робототехники
От электронных таблиц к искусственному интеллекту: Deere предоставляет фермерам новые функции в Операционном центре, JD
Архив рубрики ~Полезное~
9 бесплатных нейросетей для генерации картинок: гайд для новичка (2026)
Архив рубрики ~Коротко из Telegram~
Цифра дня: мемная робоутка принесла Hugging Face $2,6 млн всего…
Архив рубрики ~Полезное~
Полезный лайфхак: любую статью с arXiv можно за секунду превратить…
Архив рубрики ~Коротко из Telegram~
Нейросети способны выдавать гораздо более глубокие и точные результаты, если…
Архив рубрики ~Коротко из Telegram~
Пять практичных способов использовать нейросети эффективнее — от тонкой настройки…
Новости робототехники
10 главных историй о робототехнике за август 2026 года
Архив рубрики ~Коротко из Telegram~
Perplexity умеет намного больше чем вы просите Большинство используют его…
Архив рубрики ~Коротко из Telegram~
Anthropic релизнули Claude Fable 5.1 и Mythos 5.1. Fable заметно…
Архив рубрики ~Коротко из Telegram~
ИИ уже генерирует целые города: вышел обновлённый плагин City Sample…
Архив рубрики ~Обо всем~
Отображение глобальных выбросов метана из космоса с помощью глубокого обучения.
Архив рубрики ~Обо всем~
[Перевод] SmileLadder. Цикл «Управление вниманием»: тета‑ритм мозга как «метка» для запоминания
Новости робототехники
Виско запускает живую модель Orbis и завершает раунд предыдущего финансирования
Архив рубрики ~Обо всем~
Шум как первоязык: системно-информационный взгляд на лингвистику
Новости робототехники
От электронных таблиц к искусственному интеллекту: Deere предоставляет фермерам новые функции в Операционном центре, JD
Архив рубрики ~Полезное~
9 бесплатных нейросетей для генерации картинок: гайд для новичка (2026)
Архив рубрики ~Коротко из Telegram~
Цифра дня: мемная робоутка принесла Hugging Face $2,6 млн всего…
Архив рубрики ~Полезное~
Полезный лайфхак: любую статью с arXiv можно за секунду превратить…
Архив рубрики ~Коротко из Telegram~
Нейросети способны выдавать гораздо более глубокие и точные результаты, если…
Архив рубрики ~Коротко из Telegram~
Пять практичных способов использовать нейросети эффективнее — от тонкой настройки…
Присоединяйтесь и подпишитесь на рассылку самых свежих новостей по Email
Получайте свежие новости и идеи на почту. Без спама — только самое интересное.
Нажимая «Подписаться», вы соглашаетесь с политикой конфиденциальности.