Скилы системного аналитика для разработки LLM-агентов

На сентябрьском Flow 2025 проводилось огромное количество активностей вне докладов. Одной из таких активностей была coffee tables: в промежутке между докладами можно было обсудить горячую тему.

Скилы — вечно горячая тема. LLM-агенты — горячая тема в моменте (впрочем, возможно тоже надолго). В результате организовался стол, на котором кофе был самым холодным предметом.

Мы старались не спорить, что нужно, а что нет, но просто собрать все идеи.
Как видно на картинке, сначала предполагалось, что скилов нужно мало. По мере обсуждения мы делились кейсами и вспоминали, что эти кейсы от нас требовали. При этом буквы уменьшались, слова сокращались и виден результат неоднократных попыток использовать пустое пространство сверху листа.

Итак, расшифровка и комментарии (что мы обсуждали, но на лист не попало). Некоторые пункты сгруппированы, но постарался ничего не упустить.

1. Работа с промптами.

   1. Общие правила работы с промптами (идентификация роли, предоставление контекста, chain of thought, использование JSON для структурирования промпта и т.п.).

   2. Понимание принципов токенизации и представления диалога (например, формат OpenAI Harmony Response Format, используемый OpenAI для обучения oss-моделей).

   3. MarkDown как основной формат неструктурированных сообщений для LLM.

2. Умение проектировать мосты ИИ во внешний мир.

   1. Подходы к организации взаимодействия LLM с внешним миром: Tool Calling, ReAct, PAL (Program-aided Language Models).

   2. Structured Output как технология (подходы) получения результатов работы LLM в структурированном виде.

   3. Понимание векторного поиска, принципы построения RAG-агентов.

   4. Типовые протоколы взаимодействия LLM c внешним миром: MCP (экспонирование инструментов для агента), A2A (экспонирование других агентов).

3. Проектирование рабочих процессов (алгоритмов решения задачи). Разработка решений, использующих LLM, — это чаще всего комбинация вызовов LLM, запуска инструментов и действий пользователей. Очень похоже на проектирование обычных автоматизированных процессов.

4. Работа с интеграциями (в реальной жизни любой LLM-агент — это почти всегда интеграции).

   1. Понимание проблем организации асинхронной работы: LLM — медленная и дорогая, с ней по другому нельзя.

   2. Работа с брокерами как ключевой элемент организации асинхронной работы.

   3. Понимание протокола JSON RPC, т.к. он используется как в MCP, так и в A2A.

5. Умение создавать агенты, в том числе для прототипирования.

   1. Знание OpenAI API (как наиболее распространенного API для работы с LLM).

   2. Типовые фреймворки для создания агентов (LangChain, PocketFlow, Vercel AI SDK, Sprint AI, JetBrains Koog и т.п.).

   3. Умение разрабатывать агентов в low-code системах (n8n, Make и т.п.).

6. Умение отлаживать/тестировать/оценивать работу LLM-агентов. Ключевая сложность – недетерминированность работы LLM.

   1. Понимание подходов к оценке основных характеристик работы LLM-агентов (уровень успешности выполнения задач, стоимость, время работы и т.п.).

   2. Владение тестовыми фреймворками. Это могут быть как классические фреймворки для модульного тестирования — PyTest, Jest, JUnit, — так и специализированные фреймворки для тестирования приложений, использующих LLM (ragas, promptfoo).

7. Мониторинг и работа с логами. В реальных условиях агенты LLM-агенты менее прогнозируемы, чем обычные программы. Чтобы не нарушать вопросы информационной безопасности, быть уверенным в качестве выполнения модели своих функций, предотвращать неконтролируемое использование дорогостоящих ресурсов, критически важно производить мониторинг за работой агентов и уметь отслеживать ситуации, когда все пошло не по плану.

Когда мы все это нарисовали возник вопрос «Это точно про системного аналитика»? Впрочем, не было ни одной роли в создании современных ИТ-продуктов (информационных систем), которая бы подошла под эти скилы.

Попробуем назвать такого человека «специалист по созданию ИИ-агентов». Но, я уверен, описанные скилы ближе всего именно к системному аналитику.

А что вы думаете по этому поводу?

Источник: habr.com