Заметки об оценке LLM

Практическое пошаговое руководство по созданию конвейера оценки для реального приложения ИИ

Делиться

В области разработки искусственного интеллекта можно утверждать, что большая часть работы больше напоминает традиционную разработку программного обеспечения, чем машинное обучение или науку о данных, учитывая, что мы часто используем готовые базовые модели вместо того, чтобы обучать их самостоятельно. Тем не менее, я по-прежнему считаю, что одна из важнейших частей создания приложения на основе LLM сосредоточена на данных, в частности, на конвейере оценки. Нельзя улучшить то, что нельзя измерить, и нельзя измерить то, чего не понимаешь. Чтобы построить конвейер оценки, всё равно необходимо вложить значительные усилия в изучение, понимание и анализ данных.

В этой записи блога я хочу поделиться некоторыми заметками о процессе создания конвейера оценки для приложения на основе LLM, которое я сейчас разрабатываю. Это также упражнение по применению теоретических концепций, о которых я читал в интернете, к конкретному примеру, в основном из блога Хамеля Хусейна.

Оглавление

1. Приложение – объяснение нашего сценария и варианта использования
2. Конвейер оценки – обзор конвейера оценки и его основных компонентов. Каждый этап мы разделим на:
   1. Обзор – краткое концептуальное объяснение шага.
   2. На практике — конкретный пример применения концепций на основе нашего варианта использования.
3. Что нас ждёт впереди ? Это только начало. Как будет развиваться наш процесс оценки?
4. Заключение – Подведение итогов основных этапов и заключительные мысли.

Источник: towardsdatascience.com