Архив рубрики ~Коротко из Telegram~

🪟 Свежий эпизод Latent Space — разговор с инженерами Baseten…

🪟 Свежий эпизод Latent Space — разговор с инженерами Baseten…
File 1175

🪟 Свежий эпизод Latent Space — разговор с инженерами Baseten о том, что происходит между релизом модели на Hugging Face и продакшен-API. Главный тезис: узкое место сместилось от обучения к инференсу — именно там сейчас основной инженерный рычаг.

Прирост в 20-200% скорости — рутинная дисциплина, если сложить квантизацию, спекулятивное декодирование и разделение prefill/decode на разные узлы. Главный рычаг теперь не хитрость в GPU-ядре, а то, где живёт KV-кеш и как быстро он двигается между узлами. Показателен пример с GLM-5.2: более агрессивная квантизация неожиданно сохранила качество при росте пропускной способности на 20%, потому что ошибки в разных слоях взаимно гасили друг друга.

👆 Тренинг и инференс постепенно сливаются в одну дисциплину — спекулятивные «головы» обучаются на живых активациях основной модели. Гости также прогнозируют, что настоящим узким местом становится не сырая вычислительная мощность GPU, а межчиповая связь — отсюда ставка NVIDIA на Dynamo как оркестрацию, а не просто CUDA-трюки.

Оцените материал:

Поделиться
Понравилась статья? Расскажите другим
ВКонтакте
Читайте также
Архив рубрики ~Лента новостей~ Signal ограничивает возможность делать скриншоты на мобильных устройствах, поскольку сталкивается с «экзистенциальной угрозой» слежки со стороны искусственного интеллекта. Архив рубрики ~Лента новостей~ Конец кислотным градиентам и эмодзи. Скилл unslop-ui вычищает ИИ-мусор из вайбкодинга Архив рубрики ~Лента новостей~ GPTunneL и SKILLOUT проведут хакатон ИИ‑рекламы в Москве 28–29 ноября. Открыта регистрация для онлайн‑участников Архив рубрики ~Лента новостей~ Позднетриасовый зауроподоморф из ЮАР набрал 400 килограмм уже на третьем году жизни. Взрослые особи этого вида могли весить несколько тонн Архив рубрики ~Лента новостей~ Стартап подал в суд на Apple в Индии из-за функции обмена контактами одним касанием. Архив рубрики ~Лента новостей~ «Впервые не ощущается как та „Gemini“»: Google выпустила Gemini 4 Neon, тестировщики сравнили её с Opus 5.5 Архив рубрики ~Лента новостей~ Чат-боты стали экспертами в убеждении людей Архив рубрики ~Лента новостей~ Иммунитет для сайтов. Как устроена защита онлайн-сервисов Архив рубрики ~Лента новостей~ Баг процессора за $475 миллионов: ошибка Intel Pentium Архив рубрики ~Лента новостей~ В мире большой науки в 2026-м случилось событие, одновременно воодушевляющее и слегка конфузное Архив рубрики ~Лента новостей~ Эксперты предупреждают: практически каждый в сфере ИИ сейчас уязвим для мошеннических схем с использованием «медовой ловушки». Архив рубрики ~Лента новостей~ Американский бизнесмен подал в суд на Meta* из-за блокировки страниц его компании на Facebook* — иск он подготовил с помощью ИИ-агента Muse, разработанного Meta* Архив рубрики ~Лента новостей~ Город, который читают машины: как я сделал API для нейросетей на одном PHP‑файле Архив рубрики ~Лента новостей~ О статистической механике жизни: пересмотренный Шрёдингер Архив рубрики ~Лента новостей~ Signal ограничивает возможность делать скриншоты на мобильных устройствах, поскольку сталкивается с «экзистенциальной угрозой» слежки со стороны искусственного интеллекта. Архив рубрики ~Лента новостей~ Конец кислотным градиентам и эмодзи. Скилл unslop-ui вычищает ИИ-мусор из вайбкодинга Архив рубрики ~Лента новостей~ GPTunneL и SKILLOUT проведут хакатон ИИ‑рекламы в Москве 28–29 ноября. Открыта регистрация для онлайн‑участников Архив рубрики ~Лента новостей~ Позднетриасовый зауроподоморф из ЮАР набрал 400 килограмм уже на третьем году жизни. Взрослые особи этого вида могли весить несколько тонн Архив рубрики ~Лента новостей~ Стартап подал в суд на Apple в Индии из-за функции обмена контактами одним касанием. Архив рубрики ~Лента новостей~ «Впервые не ощущается как та „Gemini“»: Google выпустила Gemini 4 Neon, тестировщики сравнили её с Opus 5.5 Архив рубрики ~Лента новостей~ Чат-боты стали экспертами в убеждении людей Архив рубрики ~Лента новостей~ Иммунитет для сайтов. Как устроена защита онлайн-сервисов Архив рубрики ~Лента новостей~ Баг процессора за $475 миллионов: ошибка Intel Pentium Архив рубрики ~Лента новостей~ В мире большой науки в 2026-м случилось событие, одновременно воодушевляющее и слегка конфузное Архив рубрики ~Лента новостей~ Эксперты предупреждают: практически каждый в сфере ИИ сейчас уязвим для мошеннических схем с использованием «медовой ловушки». Архив рубрики ~Лента новостей~ Американский бизнесмен подал в суд на Meta* из-за блокировки страниц его компании на Facebook* — иск он подготовил с помощью ИИ-агента Muse, разработанного Meta* Архив рубрики ~Лента новостей~ Город, который читают машины: как я сделал API для нейросетей на одном PHP‑файле Архив рубрики ~Лента новостей~ О статистической механике жизни: пересмотренный Шрёдингер

Оставить комментарий