Мы знаем, как создатели более умных роботов. Теперь нам нужно изучить более разумные способы их тестирования.

Прямо сейчас, сегодня вы можете потратить $14,000 и купить гуманоидного робота.

Не проверялась сертификация безопасности, не проверялся стандартизированный протокол испытаний. Вы создали машину, способную применять физическую силу и принимать автономные решения в режиме реального времени. И система проверяет его поведение все еще догонит его возможности.

Это не критика инженеров, создателей систем. Интеллектуальная часть робототехники с развивающимися темпами, которые действительно зарабатывают на волнении, она получает: лучшее восприятие, более надежное передвижение, более быстрые выводы и более жесткие контуры управления.

Но вот вопрос, к чему я постоянно возвращаюсь: по мере того, как архитектура управления эволюционирует от простого дистанционного управления до полностью автономного обучения с подкреплением, развиваются вместе с ними и нашими методологиями тестирования и процессами проверки безопасности?

Я так не думаю. Еще нет. И я думаю, что об этом разрыве стоит не для того, чтобы замедлить развитие отрасли, а для того, чтобы помочь ей ответственно масштабироваться.

Две исследовательские работы в разных странах, где я недавно работал, сформировали мое мнение по этому поводу. Одна предлагает структуру для классификации интеллектуальных роботов в условиях архитектурного управления. В качестве другого решения необходимо увеличить анализ риска безопасности программного обеспечения для систем, управляемых искусственным интеллектом.

Вместе они указывают на то, что отрасли все больше нуждаются в философии разработки, которая масштабируется с автономией. Тот, где формальные гарантии безопасности заменяют перечисление тестовых примеров на самом высоком уровне, и где состязательная устойчивость устойчивости становится такой же рутинной, как функциональное тестирование.

Сначала карта того, где мы находимся

Прежде чем мы сможем говорить о том, как тестировать автономные системы, необходимо уточнить, какой тип системы мы действительно тестируем.

В статье, опубликованной в IJRCAR в марте 2026 года, я предложил пятиуровневую таксономию, которая классифицирует роботов по их когнитивной архитектуре и архитектуре управления, а не по этому, признанный человек-оператор — как и уровни вождения SAE — а тем, как машина сама обрабатывает детали и последовательное поведение.

Уровни 0 и 1: Телеоперация и имитация.На уровне 0 все мыслит человек. Робот осуществляет намерение напрямую посредством телеоперации. На уровне 1 он научился имитировать буквенные элементы посредством клонирования поведения и может действовать без живого оператора, но только в пределах того, что он видит. Хрупкость здесь хорошо задокументирована: роботы, обученные на четких, структурированных демонстрациях, с трудом работают, когда условия реального мира хоть немного отклоняются от данных обучения. Другая текстура пола, объект, расположенный под незнакомым углом. Тестирование на этой высоте относительно легкое, инструменты отработаны.

Уровень 2: Обучение в режиме реального времени под наблюдением.Робот может определять собственную неопределенность, сделать безопасную паузу, запросить коррекцию и интегрировать эту коррекцию в свое будущее поведение с помощью обратного обучения с подкреплением. Тестирование становится компонентом, состоящим из двух частей: проверка самого механизма, определение неопределенности и проверка качества обновления обучения, вызываемого каждым корректирующим вмешательством.

Уровень 3: Самоконтролируемое обучение.Робот применяет собственные тренировочные сигналы методом проб и ошибок, сообщая об успехах и неудачах без участия человека. Здесь принципиально меняется работа инженера-испытателя. Вы не просто тестируете фиксированное поведение. Вы впоследствии создали систему, которая постоянно переписывает свою собственную политику. Тестирование должно оценивать не только текущую особенность, но и безопасность самого процесса обучения.

Уровень 4: Обучение с подкреплением.Полная автономия. Робот формулирует каждую задачу как оптимизацию задачи и решает ее в условиях взаимодействия с окружающей средой, часто находя решения, которые человек не может игнорировать. На этом уровне традиционное перечисление тестовых примеров не работает. Пространство поведения слишком велико, слишком динамично и эмерджентно, чтобы его можно было перечислить энергично.

Каждый уровень вверх по лестнице не просто добавляет дополнительные возможности. Это также касается принципиального иного типа отказа и принципиального иного подхода к обращению.

п> <ч2>Там, где возможные системы безопасности не справляютсяч2>

Основным анализом рисков при разработке программного обеспечения для автомобилей и робототехники является FMEA (анализ режимов и отказов). В совместной статье, опубликованной в журнале IRE Journals (2025 г.), мы подразумеваем некоторые ограничения FMEA при разработке программного обеспечения, применяемого к системам, управляемым искусственным интеллектом, и то, как выглядит более надежный подход.

Основной проблемой является номер приоритетного риска, или RPN, который является стандартным механизмом оценки FMEA. Он умножает серьезность, взаимосвязи и знания в единый балл. Проблема становится очевидной, как только вы присвоите ей цифры: катастрофический сбой с рейтингом Серьезность 10, Происшествие 1, Обнаружение 1 получает 10 баллов. То же самое относится и к умеренному сбою с рейтингом Серьезность 1, Происшествие 1, Внешнее 10. То же число. Совершенно другая угроза.п>

В традиционной детерминированной программной системе опытные инженеры решают эту проблему разумно. В системе, управляемой нейронной сетью, где режимы сбоя возникают и происходят от контекста, такое определение гораздо сложнее применять надежно.

Последствия неправильного решения — это не просто неудачный тест. Это задержка развертывания, ответственность и, в крайнем случае, инциденты, которые подрывают общественное доверие ко всей категории продуктов.

В документе составляется интеграция матрицу приоритетов рисков вместе с анализом HAZOP (исследование риска и работоспособности), методами, которые учитывают риск через более богатую контекстуальную призму, а не приводят все в одно число. Этот комбинированный подход, основанный на стандартах ISO 26262 по функциональной безопасности и ISO 21434 по автомобильной кибербезопасности, дает инженерам более детальный словарный запас для расчета режимов отказов, характерных для ИИ.

Нормативно-правовая база поддерживается, почему это важно. ISO 25785-1, первый международный стандарт безопасности для двух роботов, был опубликован в мае 2025 года и распространяется только на промышленное использование роботов. ISO 13482, касающийся роботов для ухода за собой, был обновлен в 2025 году, но предшествует современным моделям основ.

В редакции стандарта ISO 10218-1 для промышленной робототехники 2025 года достигнут высокий прогресс, но исследователи безопасности уже выявляют пробелы в гуманоидах, управляемых искусственным интеллектом и мобильными манипуляциями, которые обновление не полностью закрывает. Эти стандарты важны. Для более быстрого роста им нужен вклад практикующего специалиста.

п> <ч2>Философия тестирования, масштабируемая с учетом автономностич2>

Итак, как выглядит более подходящий подход к тестированию на этих уровнях контроля? Вот что я об этом думаю.

Для уровней 0 и 1 достаточно хорошо применяются традиционные методы проверки и валидации. Аппаратное обучение (HiL), структурные наборы тестов и систематическое граничное распределение обучающихся данных о достижениях и эффективности. Ключевым дополнением для уровня 1 является преднамеренное вмешательство вне распределения (OOD), намеренно исследующее границы обучающегося корпуса, а не предполагающее охват.

Для уровня 2 стратегия тестирования должна быть расширена, чтобы охватить сам цикл обучения. Две вещи требуют проверки отдельно:

• Механизм количественного определения неопределенности — ли правильно определить, когда он чего-то не знает?
• Механизм обновления политики — Интегрируется корректирующий вход безопасно и точно?

Инфраструктура регистрации и учета становится важной. Каждое вмешательство человека должно фиксироваться, мечтаться и анализироваться как потенциальный сигнал о том, где политика слаба.

На уровне 3 формальные методы становятся настоящими аксессуарами, а не обязательными. Когда система переписывает свою собственную стратегию посредством самоконтролируемого обучения, ограничения безопасности этого процесса обучения должны быть математически контролируемыми и проверенными, а не просто проверенными эмпирически.

На примере самой сложной части проверки уровня 3 — это не инструменты; идет согласование вопросов “безопасного исследования” на самом деле означает для вашей конкретной платформы до начала тестирования. Такие подходы, как обучение с ограниченным креплением и алгоритмы безопасного исследования, стоит внедрять в архитектуру с самого начала, а не дорабатывать позже. Циклы проверок переходов от сим-к-ла должны явно проводить стресс-тестирование самоконтролируемого поведения в пограничных средах перед любым реальным развертыванием.

Для уровня 4 философия тестирования должна от перечисления тестовых случаев к статистическому охвату и переходу к формальным гарантиям безопасности. Масштабное моделирование Монте-Карло, создание состязательной среды и рандомизация областей (те же методы, которые использовались при обучении) также должны быть дополнительными инструментами проверок. Структуры поведенческих спецификаций, которые определяют, чего политика никогда не должна делать, независимо от того, что она обнаружит, так же важны, как и тесты производительности.

п> <ч2>Вопрос федеративного обученияч2>

Одной из областей, которая уделяет особое внимание при переходе на меньшую область к стратегии 4, является федеративное обучение с подкреплением, парадигма, в которой парки роботов наблюдают за обновлениями политики в сети, обратной вычислений и ускорения конвергенции обучения.

Повышение эффективности является реальным и вероятным. Но требования к формированию и качественному соотношению систем с одним роботом.

При обновлении политики контроля во всем парке одноранговых сетей целостность этих обновлений необходимо проверять в местах агрегирования. Исследования безопасности федерального обучения задокументировали некоторые виды проблем: воздействие данных, когда скомпрометированный узел отправляет манипулируемые обновления; бэкдор-атаки, когда триггер, встроенный во время обучения, вызывает целенаправленное неправильное поведение во время результата; и модели инверсии, в которых совместное использование градиента непреднамеренно приводит к утечке информации о локальной среде обучения. Это не мыслительные вещи. Они доказаны эмпирически.

Таким образом, развитие федеративной системы должно включать в себя показатель состязательной устойчивости механизма агрегирования, а не только внешней политики. Византийские отказоустойчивые алгоритмы агрегации, такие как Krum и FedProx, обнаружение аномалий во входящих градиентных обновлениях и криптографическая проверка происхождения обновлений — все это инженерные решения, которые должны учитываться при проектировании и тестироваться во время проверки. Методы дифференциальной конфиденциальности, применяемые в момент совместного использования градиента, обеспечивают еще один уровень защиты, ограничивая то, что может раскрыть или испортить скомпрометированное обновление. Это не экзотические исследовательские инструменты. Они доступны, документированы, и их все чаще необходимо рассматривать как стандартную практику в любом федеративном развертывании.

п> <ч2> Соединяем всё вместеч2>

Переход от уровня 0 к наставнику 4 действительно интересен. Возможности, демонстрируемые на автономных объектах, гуманоидных платформах и промышленной сфере, реальны и значимы. Что сейчас необходимо в области исследований, так это философия тестирования, развивающаяся такими же темпами.

Это означает, что проверка безопасности должна рассматриваться как первое ограничение проекта, а не как конечная контрольная точка. Это означает включение анализа HAZOP и таблицы приоритетов рисков при разработке программного обеспечения с самого начала, без необходимости использования электронных таблиц FMEA перед запуском. Это означает определение того, что представляет собой адекватное покрытие для самоконтролируемой или обученной системы RL до ее развертывания, а не после первого происшествия.

И это означает, что они обеспечивают передачу обратной связи из практик, которые необходимы для разработки ISO 26262, ISO 21434 и новых стандартов двуногих роботов быстрее, чем технологии их опережают.

Роботы становятся умнее быстрее, чем системы проверки, предназначенные для их сертификации. Устранение этого разрыва не является проблемой регулирования или исследовательской проблемой в отдельности. Это проблема инженерной культуры. Проблема решается, когда к проведению теста относится как к первой дизайнерской дисциплине с первого дня, а не как к последнему шагу перед запуском.

Для тех, кто работает над автономными цепями на любом из этих уровней: в какой момент классификация делает традиционное перечисление тестовых данных согласно настоящему карантину, и то, что вы показали, фактически заменяет его? Мне особенно хотелось услышать мнение тех, кто выполняет проверку уровня 3 или 4 в производстве.

Отправить свою идею сессии для РобоБизнеса 2026 <х3>Об авторех3>

Атарв Колхар — штатный инженер по автоматизации внедрения в компании Рисунок AI. Там он работает над инфраструктурой аппаратного тестирования для гуманоидного робота (рис. 03) и проходит обучение важному роботизированному программному обеспечению. Сделав основу в области гуманоидной робототехники, автономного лидарного зондирования и электромобилей, он специализируется на аспектах автономных систем, важных для безопасности, ранее созданной дисциплине программного обеспечения программного обеспечения, основанной на Aeva Technologies’ Сертификация ASPICE уровня 2, должность в Lucid Motors и NIO.

Колхар является членом с правами голоса в IEEE P2817, рабочей группы, разрабатывающей международный стандарт для проверок автономных систем, членом комитета ASTM F45.06 по системам роботов на ногах и рецензентом IEEE IROS и IEEE. Труды по автоматизации науки и техники.

Мнения, высказанные в данной статье, являются исключительно его собственными и не отражают должность, мнение или позицию его работодателя или какой-либо дочерней организации.

Примечания редактора: Эта статья основана на двух опубликованных статьях: “Стандартизация уровней управления роботами: основа для автономной работы, навигации в последнее время и федеративного обучения с подкреплением” (IJRCAR, том 14, выпуск 3, март 2026 г.) и “Улучшение процессов программного обеспечения DFMEA с помощью ISO 26262 и ISO 21434: устранение ограничений RPN с помощью матрицы приоритетов рисков и направлений HAZOP” (IRE Journals, том 8, выпуск 7, 2025 г.).с>

Пост Мы знаем, как создатели более умных роботов. Теперь нам нужно изучить более разумные способы их тестирования, впервые появившиеся в «Отчете о роботах».

Источник