10 концепций, которым руководствуется каждый инженер с дипломом магистра права при создании надежных систем искусственного интеллекта.
Изображение предоставлено редактором.
# Введение
Если вы пытаетесь понять, как на самом деле работают современные системы на основе больших языковых моделей (LLM), полезно перестать думать только о подсказках. Большинство реальных приложений LLM — это не просто подсказка и ответ. Это системы, которые управляют контекстом, подключаются к инструментам, извлекают данные и обрабатывают множество шагов в фоновом режиме. Именно здесь происходит большая часть реальной работы. Вместо того чтобы сосредотачиваться исключительно на инженерных уловках, связанных с подсказками, полезнее понять основные строительные блоки этих систем. Как только вы усвоите эти концепции, станет ясно, почему одни приложения LLM кажутся надежными, а другие — нет. Вот 10 важных инженерных концепций LLM, которые иллюстрируют, как на самом деле строятся современные системы.
# 1. Понимание контекстной инженерии
Разработка контекста включает в себя точное определение того, что модель должна видеть в любой заданный момент. Это выходит за рамки простого написания подсказки; это включает в себя управление системными инструкциями, историей диалога, полученными документами, определениями инструментов, памятью, промежуточными шагами и трассировками выполнения. По сути, это процесс выбора того, какую информацию показывать, в каком порядке и в каком формате. Зачастую это важнее, чем просто формулировка подсказки, что заставляет многих предполагать, что разработка контекста — это новая разработка подсказок. Многие сбои в LLM происходят не из-за плохой подсказки, а из-за отсутствия контекста, его устарелости, избыточности, плохой упорядоченности или переизбытка шума. Для более подробного изучения этой темы я написал отдельную статью: «Введение в разработку контекста в LLM» .
# 2. Реализация вызова инструментов
Вызов инструментов позволяет модели вызывать внешнюю функцию вместо того, чтобы пытаться получить ответ исключительно на основе своих обучающих данных. На практике именно так LLM осуществляет поиск в интернете, запрашивает данные из базы данных, выполняет код, отправляет запрос через интерфейс прикладного программирования (API) или извлекает информацию из базы знаний. В этой парадигме модель больше не просто генерирует текст — она выбирает между мышлением, речью и действием. Именно поэтому вызов инструментов лежит в основе большинства приложений LLM, предназначенных для промышленного применения. Многие специалисты называют это функцией, которая превращает LLM в «агента», поскольку он получает возможность совершать действия.
# 3. Внедрение протокола контекста модели
В то время как вызов инструментов позволяет модели использовать определенную функцию, протокол контекста модели (MCP) — это стандарт, который позволяет совместно использовать инструменты, данные и рабочие процессы в различных системах искусственного интеллекта (ИИ) подобно универсальному коннектору. До появления MCP интеграция N моделей с M инструментами могла потребовать N×M пользовательских интеграций, каждая из которых имела свои потенциальные ошибки. MCP решает эту проблему, предоставляя согласованный способ предоставления доступа к инструментам и данным, чтобы любой клиент ИИ мог их использовать. Он быстро становится общеотраслевым стандартом и служит ключевым элементом для создания надежных крупномасштабных систем.
# 4. Обеспечение связи между агентами
В отличие от MCP, который фокусируется на предоставлении инструментов и данных в многократно используемом виде, коммуникация между агентами (A2A) сосредоточена на том, как несколько агентов координируют действия. Это явный признак того, что разработка LLM выходит за рамки приложений с одним агентом. Google представил A2A как протокол для безопасной связи агентов, обмена информацией и координации действий в корпоративных системах. Основная идея заключается в том, что многие сложные рабочие процессы больше не укладываются в рамки одного помощника. Вместо этого может потребоваться совместная работа агента-исследователя, агента планирования и агента выполнения. A2A обеспечивает эти взаимодействия со стандартной структурой, избавляя команды от необходимости изобретать специальные системы обмена сообщениями. Для получения более подробной информации см.: Создание агентов ИИ? A2A против MCP: простое объяснение .
# 5. Использование семантического кэширования
Если части вашего запроса — такие как системные инструкции, определения инструментов или стабильные документы — не изменяются, вы можете использовать их повторно вместо повторной отправки в модель. Это называется кэшированием запросов, которое помогает снизить как задержку, так и затраты. Стратегия заключается в размещении стабильного контента сначала, а динамического — позже, рассматривая запросы как модульные, многократно используемые блоки. Семантическое кэширование идет еще дальше, позволяя системе повторно использовать предыдущие ответы на семантически похожие вопросы. Например, если пользователь задает вопрос немного по-другому, вам не обязательно генерировать новый ответ. Главная проблема — найти баланс: если проверка на сходство слишком слабая, вы можете вернуть неверный ответ; если она слишком строгая, вы теряете преимущества в эффективности. Я написал руководство по этому вопросу, которое вы можете найти здесь: Создание кэша вывода для экономии затрат в приложениях LLM с высокой нагрузкой .
# 6. Использование контекстного сжатия
Иногда поисковая система успешно находит релевантные документы, но возвращает слишком много текста. Хотя документ может быть релевантным, модели часто нужен только тот конкретный сегмент, который отвечает на запрос пользователя. Если у вас есть 20-страничный отчет, ответ может быть скрыт всего в двух абзацах. Без контекстного сжатия модель должна обрабатывать весь отчет, что увеличивает шум и затраты. Сжатие позволяет системе извлекать только полезные части, делая ответ быстрее и точнее. Это важная обзорная статья для тех, кто хочет глубоко изучить этот вопрос: «Контекстное сжатие в генерации с расширением поиска для больших языковых моделей: обзор» .
#7. Применение переранжирования
Переранжирование — это вторичная проверка, которая происходит после первоначального поиска. Сначала система поиска извлекает группу документов-кандидатов. Затем система переранжирования оценивает эти результаты и помещает наиболее релевантные из них в начало контекстного окна. Эта концепция критически важна, поскольку многие системы генерации с расширенным поиском (RAG) терпят неудачу не потому, что поиск ничего не нашел, а потому, что лучшие данные оказались спрятаны на более низком уровне, в то время как менее релевантные фрагменты занимали верхнюю часть запроса. Переранжирование исправляет эту проблему упорядочивания, что часто значительно улучшает качество ответа. Вы можете выбрать модель переранжирования из бенчмарка, такого как Massive Text Embedding Benchmark (MTEB) , который оценивает модели в различных задачах поиска и переранжирования.
# 8. Внедрение гибридного поиска
Гибридный поиск — это подход, который повышает надежность поиска за счет комбинирования различных методов. Вместо того чтобы полагаться исключительно на семантический поиск, который понимает смысл через векторные представления, вы комбинируете его с методами поиска по ключевым словам, такими как Best Matching 25 (BM25). BM25 отлично подходит для поиска точных слов, имен или редких идентификаторов, которые семантический поиск может упустить. Используя оба метода, вы используете сильные стороны обеих систем. Я исследовал аналогичные проблемы в своей работе: «Моделирование атрибутов запроса: повышение релевантности поиска с помощью семантического поиска и фильтрации метаданных» . Цель состоит в том, чтобы сделать поиск более интеллектуальным, комбинируя различные сигналы, а не полагаясь на один векторный метод.
# 9. Проектирование архитектур памяти агентов
Большая часть путаницы вокруг понятия «память» возникает из-за того, что его рассматривают как единое целое. В современных агентных системах лучше разделять кратковременное рабочее состояние и долговременную память. Кратковременная память представляет собой то, что агент в данный момент использует для выполнения конкретной задачи. Долговременная память функционирует как база данных хранимой информации, организованная по ключам или пространствам имен, и используется в контекстном окне только тогда, когда это необходимо. Память в ИИ по сути является проблемой извлечения и управления состоянием. Необходимо решить, что хранить, как это организовать и когда извлекать, чтобы агент оставался эффективным, не перегружаясь нерелевантными данными.
# 10. Управление шлюзами вывода и интеллектуальной маршрутизацией
Маршрутизация запросов к модели предполагает рассмотрение каждого запроса как задачи управления трафиком. Вместо того чтобы направлять каждый запрос по одному и тому же пути, система определяет, куда он должен быть направлен, исходя из потребностей пользователя, сложности задачи и ограничений по стоимости. Простые запросы могут направляться к более компактной и быстрой модели, в то время как сложные задачи логического вывода — к более мощной модели. Это крайне важно для масштабируемых приложений LLM, где скорость и эффективность так же важны, как и качество. Эффективная маршрутизация обеспечивает лучшее время отклика для пользователей и более оптимальное распределение ресурсов для поставщика.
# Завершение
Главный вывод заключается в том, что современные заявки на получение степени магистра права наиболее эффективны, когда вы мыслите системно, а не просто используете подсказки.
- В первую очередь следует уделить внимание контекстной инженерии.
- Добавляйте инструменты только тогда, когда модели необходимо выполнить какое-либо действие.
- Используйте MCP и A2A, чтобы обеспечить масштабируемость вашей системы и бесперебойное соединение.
- Используйте кэширование, сжатие и переранжирование для оптимизации процесса поиска.
- Рассматривайте память и маршрутизацию как ключевые задачи проектирования.
Если рассматривать применение магистерских программ в области права (LLM) с этой точки зрения, то ориентироваться в этой области становится намного проще. Реальный прогресс достигается не только в разработке более крупных моделей, но и в сложных системах, построенных на их основе. Овладев этими базовыми элементами, вы уже мыслите как инженер-специалист по магистерским программам в области права.
Канвал Мехрин — инженер по машинному обучению и технический писатель, глубоко увлеченная наукой о данных и взаимодействием ИИ с медициной. Она является соавтором электронной книги «Максимизация производительности с помощью ChatGPT». Как стипендиат программы Google Generation Scholar 2022 для Азиатско-Тихоокеанского региона, она выступает за разнообразие и академическое превосходство. Она также является стипендиатом программы Teradata Diversity in Tech Scholar, стипендиатом Mitacs Globalink Research Scholar и стипендиатом Harvard WeCode Scholar. Канвал — убежденная сторонница перемен, основавшая FEMCodes для расширения прав и возможностей женщин в областях STEM (наука, технология, инженерия и математика).
Источник: www.kdnuggets.com
