Инференс LLM: от KV-кэша до продакшен-деплоя
Привет! Я Саша Рыжов, MLOps-инженер в hh.ru, уже три года занимаюсь развитием инфраструктуры для искусственного интеллекта. Компании, которые развивают GenAI, рано или поздно приходят к задачам по запуску LLM на собственном железе. В статье я расскажу, как обстоят дела с движками инференса в 2026 году и как запустить on‑prem-прод и не изобрести при этом велосипед.
Читать далее
Источник: habr.com
Похожие записи
Оцените материал:
Поделиться
Понравилась статья? Расскажите другим
Архив рубрики ~Обо всем~
Физик производит расчеты «маневра Пикарда» из «Звездного пути».
Новости робототехники
Ультразвук предлагает масштабируемый путь к тактильному интеллекту для физического ИИ
Архив рубрики ~Полезное~
Как скачать треки из SUNO без лимитов
Архив рубрики ~Полезное~
Spotify показала плагины, которые режут расход токенов Claude Code на…
Архив рубрики ~Коротко из Telegram~
Россия выделяется плотной связкой университетов и компаний в ИИ-исследованиях Наукометрический…
Архив рубрики ~Коротко из Telegram~
Россияне начали прокачивать резюме мемами — и ИИ-рекрутеры ведутся Кандидаты…
Архив рубрики ~Коротко из Telegram~
Suno выпустила V6 — теперь с лицензированной музыкой и точечным…
Архив рубрики ~Полезное~
Личный финансовый советник в кармане: 7 промптов для ChatGPT Если…
Архив рубрики ~Коротко из Telegram~
DeepSeek выпустила V4.1-Flash — и «Flash» здесь не значит «слабая»…
Архив рубрики ~Коротко из Telegram~
Один вопрос вместо трёх переделок Стандартный сценарий: пишете задачу…
Архив рубрики ~Коротко из Telegram~
Gemini прямо с рабочего стола: Alt + Space и…
Архив рубрики ~Обо всем~
Единая наука. Часть 2: Объекты, паттерны и абстракции
Архив рубрики ~Обо всем~
Что нового на Peacock в сентябре 2026 года? Новые сезоны сериалов «Предатели», «Газета», премия «Эмми» и многое другое.
Новости робототехники
Компания Mecka AI приблизилась к оценке в 500 миллионов долларов в рамках сделки, инициированной Sequoia, на фоне ажиотажа вокруг данных для обучения роботов.
Архив рубрики ~Обо всем~
Физик производит расчеты «маневра Пикарда» из «Звездного пути».
Новости робототехники
Ультразвук предлагает масштабируемый путь к тактильному интеллекту для физического ИИ
Архив рубрики ~Полезное~
Как скачать треки из SUNO без лимитов
Архив рубрики ~Полезное~
Spotify показала плагины, которые режут расход токенов Claude Code на…
Архив рубрики ~Коротко из Telegram~
Россия выделяется плотной связкой университетов и компаний в ИИ-исследованиях Наукометрический…
Архив рубрики ~Коротко из Telegram~
Россияне начали прокачивать резюме мемами — и ИИ-рекрутеры ведутся Кандидаты…
Архив рубрики ~Коротко из Telegram~
Suno выпустила V6 — теперь с лицензированной музыкой и точечным…
Архив рубрики ~Полезное~
Личный финансовый советник в кармане: 7 промптов для ChatGPT Если…
Архив рубрики ~Коротко из Telegram~
DeepSeek выпустила V4.1-Flash — и «Flash» здесь не значит «слабая»…
Архив рубрики ~Коротко из Telegram~
Один вопрос вместо трёх переделок Стандартный сценарий: пишете задачу…
Архив рубрики ~Коротко из Telegram~
Gemini прямо с рабочего стола: Alt + Space и…
Архив рубрики ~Обо всем~
Единая наука. Часть 2: Объекты, паттерны и абстракции
Архив рубрики ~Обо всем~
Что нового на Peacock в сентябре 2026 года? Новые сезоны сериалов «Предатели», «Газета», премия «Эмми» и многое другое.
Новости робототехники
Компания Mecka AI приблизилась к оценке в 500 миллионов долларов в рамках сделки, инициированной Sequoia, на фоне ажиотажа вокруг данных для обучения роботов.
Присоединяйтесь и подпишитесь на рассылку самых свежих новостей по Email
Получайте свежие новости и идеи на почту. Без спама — только самое интересное.
Нажимая «Подписаться», вы соглашаетесь с политикой конфиденциальности.