Архив рубрики ~Лента новостей~
Как превратить LLM‑разметку в универсальный Spark‑пайплайн
Инструмент берет на себя батчинг, распределение запросов, контроль нагрузки на API, валидацию ответов и сопоставление результата с исходными строками.Меня зовут Дима Иванов, я дата-инженер в Lamoda Tech. Я работал над llm_markup и в этой статье расскажу, как мы пришли к его архитектуре…
Читать