Что имело значение: надежные агенты, рациональное мышление и устойчивость «красной команды»
Делиться
Люди будут всё больше использовать искусственный интеллект. Ускорение станет путём к развитию вычислений. Я полностью верю в эти фундаментальные тенденции.
Дженсен Хуанг , генеральный директор Nvidia
Несколько дней назад у меня была потрясающая возможность поучаствовать в Great Agent Hack 2025, организованном Holistic AI в UCL [2, 3]. Хакатон был структурирован вокруг трех крупных задач: Agent Iron Man , Agent Glass Box и Dear Grandma , каждая из которых представляла отдельную философию агентского ИИ. Это были не просто креативные названия для удобных категорий; они отражали три столпа того, как мы сегодня думаем об агентах: надежность, прозрачность и безопасность пользователя (любого, включая вашу бабушку 😄). Погружение в эту среду на выходные стало для меня своего рода кнопкой перезагрузки: это придало мне энергии, напомнило мне, почему мне нравится работать в этой области, и по-настоящему вдохновило меня продолжать учиться и творить, даже если времени на изучение всего, что происходит вокруг ИИ, никогда не хватает.
В рамках этого хакатона было разработано более 50 проектов по трём направлениям. В этой статье основное внимание будет уделено ключевым моментам мероприятия и нескольким проектам, которые мне лично запомнились, при этом отмечая, что каждая команда внесла свой ценный вклад в более широкую дискуссию о создании надёжных и надёжных агентов . Для читателей, желающих изучить весь спектр идей, полная галерея из 51 работы доступна здесь: https://hai-great-agent-hack-2025.devpost.com/project-gallery?page=1 [4].
В рамках проекта Центра цифровых инноваций (CDI) Университетского колледжа Лондона мы провели выходные в поистине уникальных местах Восточного Лондона, где можно пройти мимо башни «Орбита» (красной скульптуры, символизирующей Олимпийские игры 2012 года), а затем писать код под вращающейся парящей фигурой Земли внутри здания (рис. 2). Лондон уже был усеян рождественскими огнями на каждом шагу, поэтому перемещение между хакатоном и городом ощущалось как переход между исследовательской лабораторией и праздничной открыткой.
В общей сложности хакатон собрал более 200 участников и около 25 различных наград во всех категориях . Команды не были брошены на произвол судьбы: до начала выходных им был предоставлен доступ к учебным пособиям, примерам блокнотов и другим ресурсам, которые помогли им подготовиться [5], выбрать направление и сразу же приступить к работе, как только часы были запущены. В качестве результатов каждая команда должна была предоставить публичный репозиторий GitHub, записать короткую демонстрацию и создать постер или слайд-шоу для презентации своего решения жюри. Это значительно упростило понимание всего рабочего процесса и реального потенциала каждого проекта.
Жюри состояло из удивительно разнообразного состава организаций: Holistic AI (организатор), Центр цифровых инноваций UCL (CDI), AWS, Valyu, NVIDIA, Entrepreneurs First и других, включая компании, заинтересованные в представленных талантах и идеях. Они выбрали победителей в каждом из трёх основных направлений, а также вручили целый ряд таинственных и специальных наград, которые отмечали нечто большее, чем просто самое технически продвинутое решение.
Среди этих специальных наград был приз в стиле «Храброго солдата» для команды, которая проявила настоящую стойкость и продолжала работать, даже когда их товарищи по команде начали исчезать, буквально оставив одного солдата; приз за лучшую презентацию , поскольку продажа идеи — это тоже часть работы (тем более, что технические специалисты, как правило, испытывают с этим трудности); и приз за самое высокое использование ресурсов для команд, которые действительно активно использовали AWS и выжали из облака всё до последней искры. Эти и другие номинации представлены на сайте хакатона [2].
Одним из самых любопытных событий этих выходных стала возможность увидеть вблизи сверхкомпактный суперкомпьютер NVIDIA с искусственным интеллектом и даже сфотографироваться с культовой конструкцией «кожаная куртка», воссоздав знаменитый «момент кожаной куртки» Илона Маска и Дженсена Хуанга [6], показанный на большом экране (рис. 3). Для пущего эффекта некоторые из агентов, которых мы пытались взломать в задании «Дорогая бабушка», работали на аналогичном графическом процессоре NVIDIA, так что этот крошечный суперкомпьютер был буквально мозгом агентов, которых атаковали конкуренты.
Агентская арена
Как упоминалось в начале статьи, основная часть уикенда была посвящена трём направлениям (рис. 4). Каждое из них было посвящено отдельному вопросу современных ИИ-агентов: как создать их для эффективной работы, как сделать их прозрачными и как предотвратить их выход из-под контроля.
Команды могли выбирать любой путь, который лучше всего соответствовал их варианту использования, но на практике многие проекты естественным образом пересекали границы путей ; это признак того, насколько люди жаждали учиться, общаться и объединять различные аспекты жизненного цикла агента (да, идея о том, что чем к большему количеству путей вы присоединяетесь, тем выше ваши шансы на победу, тоже витала в воздухе, но мы пока пропустим это 😉).
Трек А. Агент Железный Человек: Агенты, которые работают и длятся
Это был трек проверки инженерных решений в реальных условиях. Целью было создание высокопроизводительной, готовой к эксплуатации многоагентной архитектуры с чёткими ролями агентов, инструментами и памятью, объединёнными таким образом, чтобы она могла выдержать испытание временем и за пределами хакатона.
Оценка была сосредоточена на вещах, которые обычно вредят в производственной среде: производительность (скорость, задержка, стоимость), надёжность (как агент обрабатывает сбои инструментов, некорректные входные данные и пограничные случаи), качество архитектуры (чёткое разделение агентов, безопасная оркестровка инструментов, разумные откаты) и мониторинг (наблюдаемость, структурированные выходные данные, базовые проверки работоспособности). Также предполагалось, что команды будут учитывать углеродный след , отдавая предпочтение более компактным или дешёвым моделям, где это возможно, и измеряя потребление энергии и токенов, чтобы агент оставался консервативным и ответственным пользователем вычислительных ресурсов.
Этот трек также является небольшим пробным камнем того, что произойдет, когда агенты будут использоваться все шире, а системы станут сложнее, и множество сервисов будут взаимодействовать друг с другом, при этом им по-прежнему необходимо будет соблюдать жесткие требования к задержкам и стоимости.
Из всех проектов мое внимание привлек проект FairQuote [4]: интеллектуальная система андеррайтинга автострахования , которая использует агента-оркестратора, а также специализированных агентов по приему, ценообразованию и политике, которые координируют работу для сбора данных, оценки риска, расчета премий и создания объяснимых политик в рамках одного диалога. С точки зрения архитектуры, она указывает на следующую волну многоагентных корпоративных рабочих процессов, где надежность, четкие обязанности и высокая степень наблюдаемости важны так же, как и базовые модели.
Андеррайтинг — хороший пример, поскольку это одна из самых сложных и критически важных для бизнеса задач в страховании. Он находится на стыке регулирования, актуарной науки и клиентского опыта: каждое решение о принятии риска, его оценке или применении исключений проходит через этот процесс. Когда андеррайтинг медленный или непрозрачный, клиенты испытывают разочарование, партнёры теряют доверие, а страховщики рискуют получить неверную оценку портфелей и попасть под пристальное внимание регулирующих органов. Когда андеррайтинг работает хорошо, он незаметно обеспечивает стабильность системы, эффективно распределяя капитал, защищая баланс и поддерживая справедливое ценообразование во всех сегментах .
Поэтому в этом направлении было приятно увидеть не только продуманную инженерную работу, но и реальные проблемы, которые решали команды: андеррайтинг, сквозное урегулирование претензий, расследование мошенничества и даже диспетчеризацию экстренных служб, где многоагентные системы координировали сортировку и поддержку принятия решений в режиме реального времени . Даже если результаты выходных были всего лишь демонстрациями, они указали на многоагентные шаблоны, меры безопасности и мониторинг, которые будут важны по мере того, как аналогичные архитектуры будут переноситься из хакатонных столов в реальные корпоративные среды.
Выбор инструментов команды тесно связан с рекомендуемым хакатоном: AWS AgentCore с пакетом SDK Strands Agents для оркестровки, Amazon Nova и другие модели, размещенные на Bedrock (SLM меньшего размера для экономии), а также фреймворки оценки, такие как AgentHarm [7]. Последний позволяет проверить, может ли агент LLM правильно упорядочить синтетические инструменты, такие как поиск в даркнете, веб-скрейпинг, отправка электронной почты, функции оплаты или банковских переводов, а также инструменты кодирования или оболочки; таким образом можно оценить как его устойчивость к джейлбрейкам, так и его способность выполнять многоэтапные вредоносные рабочие процессы после обхода барьеров безопасности.
Трек B. Стеклянный ящик агента: агенты, которых вы можете видеть и которым доверяете
Направление прозрачности было сосредоточено на том, чтобы сделать агентные системы объяснимыми, проверяемыми и интерпретируемыми для людей и организаций. Командам было предложено создать агентов, чьи рассуждения, обновления памяти и действия можно было бы отслеживать и проверять в режиме реального времени, а не как непрозрачные «чёрные ящики». На практике проекты разделились на несколько групп: конвейеры наблюдения, инструменты объяснимости, уровни управления и безопасности, а также инструменты экспертного обнаружения или отслеживания.
Для меня одним из проектов, который лучше всего отразил идею «стеклянного ящика», был GenAI Explainer. Мы все знаем, что модели диффузии текста в изображение могут быть мощными, но рискованными: традиционные системы диффузии уже продемонстрировали способность воспроизводить социальные предубеждения [8], и даже более новые модели, такие как FLUX.1, всё ещё могут отражать закономерности в своих обучающих данных [9], при этом практически не давая понимания того, почему конкретное изображение выглядит именно так. На хакатоне команда GenAI Explainer решила эту проблему, добавив к FLUX.1 слой объяснимости , который позволяет видеть, как каждое слово или сегмент подсказки влияет на сгенерированное изображение, проводить аудит результатов на предмет соответствия бренду, законодательству или безопасности, а также итеративно дорабатывать подсказки, наблюдая за влиянием в реальном времени, отслеживая каждый шаг генерации. На практике они превратили диффузию из чёрного ящика во что-то гораздо более близкое к стеклянному ящику, проверяемому рабочему процессу.
В конечном итоге, Трек B стал напоминанием о том, что алгоритмическая прозрачность больше не является факультативной: юридическим и риск-группам все чаще приходится демонстрировать, что автоматизированные решения объяснимы и непредвзяты, а некий «ящичный» подход, лежащий в основе таких проектов, как GenAI Explainer, — это то, что мы должны внедрять в каждое создаваемое нами агентное приложение.
В этом направлении выбор инструментов команды объединил платформы отслеживания, такие как LangSmith или LangFuse, службы наблюдения AWS, такие как CloudWatch, X-Ray или мониторинг Bedrock, а также исследовательские инструменты, такие как AgentGraph [10] (преобразование следов в интерактивные графики знаний), AgentSeer [11] (построение графиков действий и проведение анализа сбоев/уязвимостей) и набор данных Who_and_When failure-attribution [12] для подробного анализа и визуализации следов агентов, и это лишь некоторые из них.
Трек C. Дорогая бабушка: Агенты, которые соблюдают правила безопасности и ведут себя хорошо
В этом треке командам было предоставлено семь секретных агентов LLM 🐺🦊🦅🐻🐜🐘🦎, каждый из которых был представлен животным. Задача состояла в том, чтобы взломать, понять и идентифицировать их. Эти семь скрытых «агентов-невидимок» символизировали различные модели поведения, сильные стороны и поверхности атаки, которые командам необходимо было раскрыть. Задача состояла в том, чтобы создать фреймворк для Red Teaming , способный атаковать любую из семи конечных точек живых агентов-животных, используя API, предоставленный организаторами мероприятия, на базе инфраструктуры NVIDIA.
В хакатоне каждый агент-животное представлял собой живую систему искусственного интеллекта, доступную через единый API-сервис с разными маршрутами для каждого животного. Команды могли отправлять подсказки по этим маршрутам, специфичным для каждого животного, и наблюдать за поведением агентов в режиме реального времени, каждый из которых обладал своей индивидуальностью и возможностями. Это помогало участникам «красной команды» разрабатывать целевые тесты и атаки.
Путь C не ограничивался семью «животными» агентами, стоящими за API; атаки на коммерческие системы, такие как ChatGPT, Claude или Gemini, также были разрешены, если команды рассматривали их как часть систематической оценки безопасности.
Таким образом, решение должно анализировать, атаковать и объяснять уязвимости агентов ИИ, выполнять поведенческую экспертизу и понимать, почему атака работает .
Команда лаборатории джейлбрейка использовала двухэтапный процесс: сначала они создали библиотеку проверенных подсказок для джейлбрейка, основанную на методах, описанных в литературе, таких как обфускация Base64, внедрение CSS/HTML и других трюках на уровне подсказок. Затем они применили генетический алгоритм для мутации и улучшения этих подсказок: всякий раз, когда атака, начатая на первом этапе, частично удавалась, алгоритм корректировал её (изменял формулировку, добавлял контекст, объединял две подсказки или дополнительно обфусцировал инструкции), сохраняя успешные варианты и отбрасывая слабые. Со временем этот эволюционный поиск приводил к созданию всё более сильных вредоносных подсказок и даже открывал совершенно новые способы взлома агентов.
HSIA был еще одним выдающимся проектом, который продвинул эти идеи в мир робототехники. Вместо того, чтобы атаковать агентов-животных, они нацелились на роботизированную систему Visual–Language–Action (VLA) и показали, как ее восприятие может быть искажено на семантическом уровне . Пиксели на изображении оставались точно такими же; менялась только внутренняя подпись, сгенерированная моделью. С помощью тонких, тщательно продуманных возмущений система VLA могла переключаться с «Я вижу бутылку на изображении» на «Я вижу нож на изображении», даже если ножа не было, заставляя робота действовать на основе ложного убеждения об окружающей среде. Их работа подчеркивает, что многомодальные системы могут быть скомпрометированы без прикосновения к необработанному изображению, что выявляет критическую уязвимость для роботизированного ИИ следующего поколения.
Извлеченные уроки
Если бы мне пришлось вкратце изложить, чему меня научил этот хакатон, то я бы сказал:
Будьте храбрым солдатом . Упорство важнее конкуренции. Речь не о том, чтобы превзойти других, а о том, чтобы сохранять стойкость, адаптироваться к трудностям (а они обязательно возникнут) и представить лучшую версию своей идеи. Подобные мероприятия — это не просто технические испытания; это возможность продемонстрировать свой талант и целеустремлённость, которую действительно ценят компании.
Подготовьтесь заранее. Хорошие результаты показали не только самые опытные команды: это были те, кто приехал, уже зная формат, ожидания, критерии оценки и ознакомившись с предоставленными обучающими материалами и ресурсами.
Освойте 5-минутную презентацию. Это критически важно. Оценщики и судьи действуют быстро. Вы можете потратить несколько дней на разработку чего-то, но у вас будет всего несколько минут, чтобы заинтересовать их. Поэтому подготовьте презентацию, в которой чётко, кратко и так, чтобы заинтересовать, объясните ценность вашего проекта. Если эти 5 минут будут интересными, судьи попросят ещё. Это в равной степени относится и к младшим специалистам, и к старшим инженерам (рассказывание историй — часть их работы). Мне тоже это даётся с трудом; в реальной жизни у нас обычно не так много времени, чтобы доказать свою идею.
Эти мероприятия становятся всё более значимыми, чем когда-либо. С каждым годом интерес к ним растёт, и в этом году организаторы даже удвоили количество мест, что показывает, насколько ценен этот опыт. Поэтому так важно участвовать, только если вы действительно хотите быть там и готовы потратить на это своё время и силы.
Изучите спонсоров. Перед мероприятием изучите информацию о компаниях-участниках и подумайте, какие из них могут быть наиболее заинтересованы в вашем подходе. Адаптируйте свою презентацию соответствующим образом. Спонсоры — это не просто судьи, это потенциальные партнёры, наставники и даже будущие партнёры по команде.
Прочная основа побеждает блестящие модели. Один из ключевых выводов хакатона заключается в том, что победа не зависела от использования новейших или самых раскрученных моделей. Лучшие команды добились успеха не потому, что полагались на самые масштабные или яркие архитектуры, а потому, что создавали эффективные решения на основе надежных, хорошо изученных методов: генетических алгоритмов, надежных моделей диффузии и прочего. Главное отличие заключалось в том, насколько креативно они сочетали эту основу с агентными методологиями, продуманными схемами оценки и продуманной инженерией для решения сложных задач.
Совместные инновации ускоряют прогресс. Мероприятие показало, как междисциплинарное сотрудничество между академическими кругами, промышленностью и экспертами в области управления ИИ может значительно укрепить как разработку ИИ, так и саму систему управления. Даже участники, не занимавшие технических должностей, поделились ценными идеями, основанными на реальных проблемах в их областях, предложив взгляды, которые невозможно получить, занимаясь исключительно инженерией. Это также отличная возможность пообщаться с людьми за пределами привычной технической сферы, расширяя не только свой круг общения, но и ваши представления о влиянии и применении ИИ.
Наконец, более масштабное размышление: агенты быстро развиваются , а вместе с ними возникают новые архитектурные проблемы, вопросы безопасности и обязанности. Это не гипотетические проблемы будущего, они существуют прямо сейчас. Ответственное отношение к приложениям ИИ — это не просто рекламный лозунг, а часть повседневной работы любого специалиста по ИИ или науке о данных.
Выводы
Эти события незаметно формируют наше представление об управлении с помощью ИИ. Когда мощные агентные системы подвергаются цейтноту и сложным, но реалистичным сценариям, приходится прямо сталкиваться с непредсказуемым поведением. Именно здесь и происходит настоящее обучение: как сбалансировать быстрые инновации с доверием и безопасностью? Как разработать системы оценки и барьеры, которые позволят нам быстро двигаться, не теряя контроля? Этот хакатон наградил не только умные модели, но и продуманное управление .
И хотя повсюду происходит множество событий, связанных с ИИ, это одно из немногих, за которыми действительно стоит следить , поскольку оно действительно помогает вам расти, знакомит с реальными проблемами и напоминает вам, почему стоит оставаться любознательным и поддерживать свои навыки на высоком уровне.
Ссылки
Ссылки в порядке появления:
[1] «Генеральный директор NVIDIA Дженсен Хуанг открывает выставку CES 2025. Будущее уже здесь!» SupplyChainToday, 2025. Ссылка.
[2] Great Agent Hack 2025: Holistic AI x UCL. Доступно по адресу: https://hackathon.holisticai.com/ (дата обращения: 22 ноября 2025 г.).
[3] Valyu AI. (2025). The Great Agent Hack 2025: Производительность агентов, надежность и поиск с помощью Valyu. Источник: https://www.valyu.ai/blogs/the-great-agent-hack-2025-agent-performance-reliability-and-valyu-powered-retrieval
[4] Great Agent Hack 2025. «Галерея проектов — Great Agent Hack 2025: создание и тестирование прозрачных, надежных и безопасных агентов ИИ для реального воздействия». Devpost. Доступно по адресу: https://hai-great-agent-hack-2025.devpost.com/project-gallery?page=1.
[5] Целостный ИИ. (2025). Хакатон 2025 [Исходный код]. GitHub. https://github.com/holistic-ai/hackathon-2025 (Последний доступ: 30 ноября 2025 г.)
[6] Илон Маск ошеломлён подарком Дженсена Хуанга DGX Spark. (nd). YouTube Shorts. https://www.youtube.com/shorts/l7x_Tfrbubs
[7] Андрющенко, М., Соули, А., Дземян, М., Дуэнас, Д., Линь, М., Ван, Дж., Хендрикс, Д., Цзоу, А., Колтер, З., Фредриксон, М., Уинзор, Э., Уинн, Дж., Гал, Й. и Дэвис, Х. (2024). AgentHarm: эталон для измерения вредоносности агентов LLM. arXiv. https://arxiv.org/abs/2410.09024
[8] Тику Н., Шауль К. и Чен С. (1 ноября 2023 г.). Так видят мир генераторы изображений на основе искусственного интеллекта. Washington Post. https://www.washingtonpost.com/technology/interactive/2023/ai-generated-images-bias-racism-sexism-stereotypes/ (последний доступ 20 августа 2025 г.).
[9] Порикли, С. и Порикли, В. (2025). Скрытая предвзятость в машине: стереотипы в моделях преобразования текста в изображение. Доступно по адресу: https://openreview.net/pdf?id=u4KsKVp53s
[10] Ву, З., Чо, С., Муньос, К., Кинг, Т., Мохаммед, У., Казими, Э., Перес-Ортис, М., Булатвела, С. и Кошияма, А. (2025). AgentGraph: платформа Trace-to-Graph для интерактивного анализа и тестирования надежности в системах агентного ИИ. Holistic AI и Университетский колледж Лондона.
[11] Викаксоно, И., Ву, З., Патель, Р., Кинг, Т., Кошияма, А. и Трелеавен, П. (2025). Учитывайте пробелы: оценка уязвимостей на уровне моделей и агентов в программах магистратуры с использованием графов действий.
[12] Чжан, С., Инь, М., Чжан, Дж., Лю, Дж., Хан, З., Чжан, Дж., Ли, Б., Ван, Ч., Ван, Х., Чэнь, И. и У, Ц. (2025). Какой агент вызывает сбои задач и когда? Об автоматизированной атрибуции сбоев многоагентных систем LLM (препринт arXiv № 2505.00212).
Источник: towardsdatascience.com
