Десять уроков по созданию приложений LLM для инженеров

Практические заметки по рабочим процессам, структуре и оценке, полученные в результате двух лет работы с экспертами в области инжиниринга.

Делиться

Степени магистра права (LLM) применяются во всех отраслях. Традиционные инженерные дисциплины не являются исключением.

Последние два года я разрабатывал инструменты на базе LLM совместно с экспертами в области инженерии. Это инженеры-технологи, инженеры по надежности, аналитики кибербезопасности и т.д., которые проводят большую часть своего рабочего дня за журналами, спецификациями, схемами и отчётами, а также занимаются такими задачами, как поиск и устранение неисправностей, анализ видов отказов, планирование испытаний, проверка соответствия требованиям и т.д.

Обещание убедительное: благодаря обширным предварительным знаниям студенты LLM теоретически могут рассуждать как эксперты в предметной области и ускорять утомительные этапы инженерной работы, связанные с сопоставлением шаблонов, а также освобождать экспертов для принятия решений более высокого порядка.

Однако практика оказывается более запутанной. Фраза «просто добавьте чат» редко превращается в полезные инженерные инструменты. Между впечатляющей демонстрацией и системой, которой инженеры действительно доверяют и которой пользуются, всё ещё существует большой разрыв.

Все зависит от того , как сформулировать проблему , как структурировать рабочий процесс и как интегрировать его в реальную среду инженера .

В этой публикации я хотел бы поделиться 10 уроками, которые я извлёк из своих прошлых проектов. Это всего лишь мои «полевые заметки», а не исчерпывающий контрольный список. Но если вы также планируете создавать или уже создаёте приложения LLM для специалистов в предметной области, надеюсь, эти уроки помогут вам избежать нескольких болезненных тупиков.

Я разделяю уроки на три этапа, которые точно соответствуют этапам типичного проекта LLM:

• Прежде чем начать: сформулируйте правильную проблему и установите правильные ожидания.
• В ходе проекта: разработайте четкие рабочие процессы и следите за соблюдением структуры повсюду.
• После завершения строительства: интегрируйте то, где работают инженеры, и оцените с помощью реальных случаев.

Имея это в виду, давайте начнем.

Источник: towardsdatascience.com