Заметки об оценке LLM
Практическое пошаговое руководство по созданию конвейера оценки для реального приложения ИИ
Делиться
В области разработки искусственного интеллекта можно утверждать, что большая часть работы больше напоминает традиционную разработку программного обеспечения, чем машинное обучение или науку о данных, учитывая, что мы часто используем готовые базовые модели вместо того, чтобы обучать их самостоятельно. Тем не менее, я по-прежнему считаю, что одна из важнейших частей создания приложения на основе LLM сосредоточена на данных, в частности, на конвейере оценки. Нельзя улучшить то, что нельзя измерить, и нельзя измерить то, чего не понимаешь. Чтобы построить конвейер оценки, всё равно необходимо вложить значительные усилия в изучение, понимание и анализ данных.
В этой записи блога я хочу поделиться некоторыми заметками о процессе создания конвейера оценки для приложения на основе LLM, которое я сейчас разрабатываю. Это также упражнение по применению теоретических концепций, о которых я читал в интернете, к конкретному примеру, в основном из блога Хамеля Хусейна.
Оглавление
- Приложение – объяснение нашего сценария и варианта использования
- Конвейер оценки – обзор конвейера оценки и его основных компонентов. Каждый этап мы разделим на:
- Обзор – краткое концептуальное объяснение шага.
- На практике — конкретный пример применения концепций на основе нашего варианта использования.
- Что нас ждёт впереди ? Это только начало. Как будет развиваться наш процесс оценки?
- Заключение – Подведение итогов основных этапов и заключительные мысли.
Источник: towardsdatascience.com
Оцените материал:
