Автономные системы искусственного интеллекта тестируют системы управления в физической среде.

Искусственный интеллект в действии

Автономные системы искусственного интеллекта тестируют системы управления в физической среде.

Автономные системы искусственного интеллекта начинают выходить за рамки программных сред и внедряться на склады, в сети доставки и общественные места. Это развитие привлекает внимание к вопросу о том, распространяются ли действующие правила регулирования ИИ на системы, работающие в физической среде.

Большинство существующих рамок управления ИИ сосредоточены на онлайн-вреде и результатах работы моделей, включая предвзятость, дезинформацию и вредоносный контент. Системы ИИ, воплощенные в физическом мире, несут риски в физической среде, где сбои могут повлиять на инфраструктуру, имущество или безопасность людей.

Сингапурское управление по развитию информационных и медиатехнологий 20 мая опубликовало версию 1.5 своей модели управления искусственным интеллектом для агентного ИИ. Эта модель содержит рекомендации для организаций, внедряющих агентов ИИ, способных планировать, принимать решения и выполнять действия на нескольких этапах для достижения целей, заданных пользователем.

В описании системы говорится, что агенты могут взаимодействовать с инструментами, внешними системами и другими агентами, включая системы, обновляющие базы данных, записывающие файлы, управляющие устройствами или выполняющие транзакции. В числе мер управления развертыванием указаны контроль доступа, мониторинг и утверждение человеком.

Искусственный интеллект проникает в физические системы.

На саммите по искусственному интеллекту, состоявшемся в Сингапуре на прошлой неделе, дискуссии о робототехнике и воплощенном ИИ были сосредоточены на вопросах операционной безопасности, которые чаще встречаются в авиации, промышленных системах и надзоре за критической инфраструктурой, чем в традиционном регулировании программного обеспечения.

Также докладчики обсудили вопрос о том, могут ли автономные системы безопасно и надежно функционировать в непредсказуемых условиях реального мира в течение длительных периодов времени.

Доктор Я-Цинь Чжан, основатель и декан Института исследований индустрии искусственного интеллекта при Университете Цинхуа, заявил, что воплощенные в системах ИИ риски усиливают риски, уже связанные с автономным программным обеспечением. Он отметил, что сбои могут напрямую повлиять на транспортные системы, беспилотники, логистические сети и критическую инфраструктуру.

«Любой риск в цифровой сфере будет усиливаться в физической сфере, а физическая сфера будет иметь физические последствия», — заявил Чжан изданию MLex в кулуарах саммита.

Он добавил, что транспортные средства, дроны, интеллектуальные энергосети и другая инфраструктура могут оказаться уязвимыми по мере более глубокого внедрения систем искусственного интеллекта в физические процессы.

Докладчики обсудили надежность, оперативный мониторинг и обеспечение качества после развертывания как проблемы управления. В ходе обсуждений на саммите было отмечено, что модели управления, основанные на развертывании и построенные на моделировании, телеметрии и итеративном тестировании, а не только на одноразовой сертификации, являются более предпочтительными.

В рекомендациях IMDA также говорится о постепенном внедрении, непрерывном мониторинге и дальнейшем тестировании после развертывания. В них отмечается, что агенты динамически взаимодействуют со своей средой, и не все риски можно предвидеть до выпуска.

Мониторинг становится вопросом развертывания.

Компания Grab, которая проводит пилотные испытания беспилотных автомобилей и роботов-доставщиков в районе Пунггол в Сингапуре, заявила, что управление внедрением в значительной степени зависит от моделирования, тестирования и непрерывного мониторинга.

«Мы проводим множество симуляций, много испытаний на закрытых и открытых трассах, чтобы убедиться в надежности наших роботов», — сказал Сутен Томас Парадатет, главный технический директор Grab, во время одной из панельных дискуссий на саммите.

«Прежде чем мы перейдем к использованию сотен роботов, мы сначала убедимся, что решили эту задачу в ходе моделирования и с помощью нескольких роботов», — добавил он.

Компания Grab также указала на системы мониторинга, предназначенные для отслеживания производительности роботов и выявления неожиданных сбоев после развертывания.

«Возможно, возникнет целый ряд проблем», — сказал Парадатет.

В рамках IMDA говорится, что организации должны оценивать сценарии использования агентного ИИ на основе доступа к данным, доступа к внешним системам, автономности и сложности задач. Также указывается масштаб и обратимость действий агента, участие третьих сторон и общая сложность системы.

Также рекомендуется ограничить доступ агентов к инструментам и системам, применять принцип минимальных привилегий и определить стандартные рабочие процедуры для рабочих процессов агентов. Организациям также следует разработать механизмы для отключения агентов от сети в случае их неисправности.

Ответственность распространяется на большее число участников.

Компания MLex сообщила, что в разработке, производстве и внедрении систем искусственного интеллекта могут участвовать различные стороны. К ним относятся разработчики ИИ, производители робототехники, поставщики полупроводников и операторы инфраструктуры.

Компания MLex также отметила, что определить ответственных лиц может быть сложнее, когда системы продолжают адаптироваться после развертывания посредством обновлений программного обеспечения, телеметрии и оперативных данных.

IMDA утверждает, что организации и люди остаются ответственными за действия агентов, даже когда агенты работают автономно. В рамках данной концепции требуется четкая ответственность на всех этапах цепочки создания ценности агентного ИИ, от поставщиков моделей и платформ до развертывающих систем, поставщиков инструментов и конечных пользователей.

В компании Applied Materials заявили, что крупномасштабное внедрение робототехники также связано с экономикой полупроводниковых технологий и системной интеграцией. Ом Наламасу, главный технический директор компании, отметил, что роботизированные системы будут зависеть от более совершенных датчиков, энергоэффективности, передовой упаковки и вычислительных архитектур.

Наламасу заявил, что для роботизированных систем потребуются специально разработанные конструкции, адаптированные к конкретным промышленным экосистемам, а не единое решение для всех условий.

Чжао Юли, директор по стратегии китайского робототехнического стартапа Galbot, заявил, что Пекин уделяет приоритетное внимание масштабированию внедрения и промышленной коммерциализации посредством поддерживаемых правительством испытательных полигонов, промышленного партнерства и долгосрочных инициатив по финансированию.

Компания Galbot внедрила человекоподобные роботизированные системы в розничной торговле, складском хозяйстве и фармацевтике в Китае. К ним относятся автономные магазины, работающие круглосуточно. Чжао отметил, что полуструктурированные промышленные среды, вероятно, станут одним из первых путей коммерциализации, поскольку они предлагают более контролируемые условия эксплуатации.

Япония уделяет больше внимания стандартизации, наборам данных по робототехнике и управлению безопасностью. Профессор Ютака Мацуо из Высшей инженерной школы Токийского университета указал на проект «Ассоциация ИИ», целью которого является сбор 100 000 часов данных по робототехнике для поддержки базовых моделей робототехники.

Мацуо также упомянул Японский институт безопасности ИИ и Хиросимский процесс по разработке ИИ как часть более широких усилий по разработке стандартов управления для воплощенных систем ИИ совместно с Сингапуром и другими азиатскими странами.

Сингапур вводит механизмы контроля за агентами.

В сингапурской рамочной программе определены четыре области управления агентным ИИ. Они охватывают предварительную оценку рисков, ответственность человека, технические средства контроля и ответственность конечного пользователя. В рамках программы они описываются как итеративный процесс, а не как разовая оценка.

В концепции говорится, что человеческий контроль необходимо адаптировать для агентных систем, поскольку непрерывный анализ всех рабочих процессов становится нецелесообразным в больших масштабах. Рекомендуется утверждение человеком важных контрольных точек, включая действия с высокими ставками, необратимые действия и аномальное поведение.

IMDA также указывает на предвзятость автоматизации и усталость от оповещений как на риски, возникающие при контроле компетентных агентов людьми. Рекомендуется проводить аудит контроля с помощью таких показателей, как частота игнорирования действий человека и время реакции, а также использовать автоматизированный мониторинг в режиме реального времени для выявления неожиданного поведения.

В рамках данной концепции пользователям следует сообщать, какие действия может выполнять агент, к каким данным он имеет доступ и какие обязанности остаются за пользователем. Также рекомендуется проводить обучение сотрудников по вопросам взаимодействия человека и агента, контроля и профессиональных навыков, необходимых для оценки результатов работы агента.

Компании тестируют ИИ в рамках регулируемых рабочих процессов.

JPMorgan внедряет инструменты искусственного интеллекта в своем глобальном инвестиционно-банковском бизнесе, сообщил агентству Reuters Пол Урен, глава инвестиционно-банковского подразделения банка в Азиатско-Тихоокеанском регионе. В банке заявили, что эти инструменты помогают банкирам получать доступ к большему объему информации и интегрировать ее с внутренними системами. Они также используются для подготовки контента и поддержки взаимодействия с клиентами.

Генеральный директор JPMorgan Джейми Даймон заявил агентству Bloomberg News, что банк будет нанимать больше специалистов по искусственному интеллекту и меньше традиционных банкиров. Агентство Reuters сообщило, что мировые банки увеличивают инвестиции в ИИ, перестраивают штат сотрудников и меняют должностные обязанности.

Банк также входит в число организаций, которым Anthropic разрешила использовать свою модель кибербезопасности Mythos в рамках контролируемой инициативы, известной как Project Glasswing. По данным Anthropic, Mythos может обнаруживать старые уязвимости в браузерах, инфраструктуре и программном обеспечении.

Агентство Reuters сообщило со ссылкой на источники и руководителей компаний, что Goldman Sachs, Citigroup, Bank of America и Morgan Stanley также имеют доступ к Mythos или тестируют его.

В основе системы IMDA лежит пример анализа источников богатства, проведенный банком OCBC Bank of Singapore. Система анализирует документы, связанные с доходами, и составляет меморандум об источниках богатства. Она не принимает решений о кредитовании, оформлении новых клиентов или управлении рисками автономно.

В этом случае рабочий процесс ограничивается автономностью на уровне задач и функционирует только при запуске предопределенными рабочими процессами. В критических точках принятия решений требуется проверка человеком, а окончательная проверка остается за назначенными экспертами.

Роботы находят применение в промышленности.

Согласно опросу Reuters, проведенному Nikkei Research с 1 по 15 мая, в Японии треть компаний уже используют или рассматривают возможность использования роботов с искусственным интеллектом. В опросе приняли участие 492 компании, 220 из которых ответили на условиях анонимности.

Около 4% респондентов заявили, что уже используют роботов с искусственным интеллектом, 5% планируют их внедрение, а 25% рассматривают такую возможность. Остальные 66% заявили, что таких планов у них нет.

В опросе наиболее активной группой оказались производители транспортного оборудования: 80% из них уже используют роботов с искусственным интеллектом или рассматривают возможность их внедрения. Для сравнения, 94% респондентов из оптового сектора заявили, что не планируют внедрять роботов с искусственным интеллектом.

Среди компаний, использующих, планирующих использовать или рассматривающих возможность внедрения роботов с искусственным интеллектом, 71% выбрали производство в качестве варианта применения. Еще 19% выбрали опасные задачи, а 11% — обслуживание клиентов.

Правительство Японии ожидает, что роботы с искусственным интеллектом помогут решить хроническую проблему нехватки рабочей силы в стране и укрепят ее позиции в области промышленной робототехники. В Японии расположены такие робототехнические компании, как Fanuc, Yaskawa Electric и Kawasaki Heavy Industries, но страна сталкивается с конкуренцией со стороны Китая и США в сфере робототехники с использованием искусственного интеллекта.

Деятельность розничных агентов выходит за рамки простого поиска.

Компания Walmart представила планы по использованию агентного ИИ в процессах совершения покупок, работы сотрудников, поставщиков и разработчиков.

В июле 2025 года ритейлер объявил о планах по созданию четырех «супер-агентов» на базе искусственного интеллекта. Они предназначены для покупателей, сотрудников магазинов, поставщиков и продавцов, а также разработчиков программного обеспечения. Walmart заявил, что эти агенты станут основной точкой входа для взаимодействия с ИИ между этими группами.

Один из инструментов, Sparky, уже доступен в приложении Walmart в качестве генеративного помощника по покупкам на основе искусственного интеллекта. Хари Васудев, главный технический директор Walmart в США, заявил, что расширенная версия сможет повторно заказывать товары и планировать мероприятия. Она также будет использовать компьютерное зрение для предложения рецептов на основе содержимого холодильника покупателя.

Walmart также разрабатывает суперагента для сотрудников магазинов и корпоративного персонала. Отдельный агент Marty создается для продавцов, поставщиков и рекламодателей. Кроме того, ритейлер работает над суперагентом для разработчиков, предназначенным для тестирования, создания и запуска будущих инструментов искусственного интеллекта.

Компания отказалась сообщить, заменят ли новые сотрудники существующие рабочие места. Дейв Глик, старший вице-президент по корпоративным бизнес-системам, заявил, что эти инструменты создадут новые рабочие места, не вдаваясь в подробности.

(Фото предоставлено Growtika)

См. также: OpenAI открывает лабораторию ИИ в Сингапуре, а IMDA обновляет свою концепцию ИИ.

Хотите узнать больше об искусственном интеллекте и больших данных от лидеров отрасли? Посетите выставку AI & Big Data Expo, которая пройдет в Амстердаме, Калифорнии и Лондоне. Это масштабное мероприятие является частью TechEx и проводится одновременно с другими ведущими технологическими выставками. Для получения дополнительной информации нажмите здесь.

AI News — это проект TechForge Media. Здесь вы можете ознакомиться с другими предстоящими мероприятиями и вебинарами, посвященными корпоративным технологиям.

Источник: www.artificialintelligence-news.com