Архив рубрики ~Лента новостей~
Ускорение RAG: замена PCIe на GPU-память
Статья описывает замену стандартного обмена данными между CPU и GPU на пользовательскую архитектуру памяти GPU для многошагового RAG. Это позволяет добиться детерминированных задержек в микросекундах и ускорения до 8,57 раз за счет хранения корпуса в видеопамяти и выполнения поиска Top-K на устройстве.
Читать