Новая система визуализации позволяет видеть сквозь мутную воду.

Подпись : Новая технология подводного картирования сродни объединению эхолокации дельфина и зрения морской черепахи на близком расстоянии для наблюдения и навигации в мутной воде в режиме реального времени. Авторские права : Предоставлено исследователями. Подпись : Исследователи протестировали метод в экспериментах в резервуарах, где они могли контролировать степень видимости воды. Источник : Предоставлено исследователями. Подпись : Даже в условиях облачности система смогла просвечивать сквозь осадок, чтобы составить карту окружающей среды резервуара и визуализировать детали объектов в резервуаре с точностью до сантиметра. Авторские права : Предоставлено исследователями. Подпись : Аспирантка Массачусетского технологического института Эми Фунг работает в резервуаре в Океанографическом институте Вудс-Хоул (WHOI). Источник : Предоставлено исследователями.

Для дистанционно управляемых подводных аппаратов мутная и бурная вода часто является недопустимой. Когда аппараты оседают на морском дне или роют песчаное дно, они могут поднимать облака осадка, которые затрудняют обзор бортовых камер. Зачастую единственное, что остается, — это дождаться, пока морская пыль осядет, прежде чем аппарат сможет безопасно продолжить движение.

Однако новая технология подводного картографирования, разработанная инженерами из Массачусетского технологического института и Океанографического института Вудс-Хоул (WHOI), может позволить подводным аппаратам видеть сквозь мутные воды с плохой видимостью.

Этот метод объединяет визуальные изображения с оптических камер с акустическими данными от гидролокаторов. Такое сочетание позволяет транспортному средству быстро составлять карту общей формы окружающей среды с помощью гидролокатора, даже в условиях плохой видимости. Транспортное средство может двигаться в направлении определенных форм в отображенной на карте среде, приближаясь достаточно близко, чтобы оптические камеры могли детально визуализировать конкретные объекты.

Эта технология сродни объединению эхолокации дельфина и зрения морской черепахи на близком расстоянии для наблюдения и навигации в мутной воде в режиме реального времени.

Исследователи протестировали метод в экспериментах в резервуарах, где они могли контролировать степень видимости воды. Даже в самых облачных условиях система смогла видеть сквозь осадок, чтобы составить карту окружающей среды в резервуаре и визуализировать детали объектов в резервуаре с точностью до сантиметра.

Команда продолжает совершенствовать эту технологию, которую они назвали Sonar-MASt3R. Они предполагают, что этот метод картографирования позволит безопасно направлять подводные аппараты в мутной среде для широкого спектра применений, включая научные исследования, подводное строительство и техническое обслуживание, а также глубоководные поисково-спасательные работы.

«Мы надеемся, что эта работа позволит нам проводить больше операций в сложных условиях с плохой видимостью и поможет обеспечить более широкое покрытие в районах, где сегодня трудно работать», — говорит Эми Фунг, аспирантка кафедры аэронавтики и космонавтики Массачусетского технологического института, возглавлявшая эту работу.

На этой неделе Фунг представил доклад, подробно описывающий Sonar-MASt3R, на Международной конференции IEEE по робототехнике и автоматизации (ICRA). Соавтором доклада является Ричард Камилли, старший научный сотрудник в области прикладной океанической физики и инженерии в WHOI.

Лучшее из обоих миров

Для исследования подводного мира ученые, как правило, используют либо оптические камеры, либо гидролокаторы. Оптические камеры позволяют получать детальные визуальные изображения, но только в относительно чистой и хорошо освещенной воде. В отличие от них, гидролокаторы одинаково хорошо работают как в чистой, так и в мутной воде; излучая акустические волны и измеряя время и угол их возвращения, гидролокаторы могут определять точную форму, расстояние и глубину объектов в окружающей среде, хотя на гидролокационной карте отсутствуют какие-либо визуальные детали.

Чтобы максимально эффективно использовать оба метода, ученые стремятся объединить их в новом подходе, известном как «оптико-акустическое слияние». В ряде предыдущих работ исследовательские группы объединяли данные гидролокатора и оптики в методах картографирования, которые в основном ориентированы на распознавание объектов и реконструкцию рабочей среды. Большинство методов требуют времени для синхронизации и обработки данных и поэтому не работают в режиме реального времени, в то время как лишь немногие могут картировать окружающую среду в 3D. Ни один из них не применялся для высокоточного подводного картографирования в мутных, замутненных условиях.

Фунг, студентка совместной программы MIT-WHOI, и Камилли, ее научный руководитель, поставили перед собой цель разработать метод оптоакустического слияния, который позволил бы создавать подробные 3D-карты подводной среды в реальном времени и в условиях плохой видимости. Команду мотивировали, в частности, сложности, связанные с безопасным извлечением неразорвавшихся подводных мин.

«В районах, где находиться судам небезопасно, могут находиться старые взрывчатые вещества, и наилучший способ их безопасного обезвреживания — это использование робототехники», — говорит Камилли. «Но многие из этих взрывчатых веществ закладываются в прибрежной зоне, где видимость усложняет задачу безопасного обезвреживания. Это лишь одно из многих применений нашей технологии».

Облачно, возможны кратковременные осадки.

Новый метод, Sonar-MASt3R, основан на существующей методике MASt3R, разработанной французскими исследователями. MASt3R — это алгоритм сопоставления изображений, обученный принимать визуальные изображения одной и той же сцены и быстро оценивать относительную глубину каждого пикселя в сцене. Таким образом, MASt3R может генерировать трехмерную карту окружающей среды в реальном времени на основе двухмерных изображений с камеры.

«Недостаток в том, что нет ощущения масштаба, — говорит Фунг. — Оно покажет: „Этот пиксель на пять единиц ближе, чем этот пиксель“, но не сможет определить, 5 метров это или 5 футов».

К счастью, гидролокатор позволяет получать точные измерения масштаба. Время отражения сигнала от гидролокатора можно напрямую преобразовать в конкретную глубину и расстояние до объектов, от которых отразились сигналы, а также в их форму и контур.

В своей новой работе Фунг и Камилли использовали данные гидролокатора для коррекции масштабирования MASt3R и создания точных 3D-карт подводной среды. Даже в мутной воде карта, скорректированная с помощью гидролокатора, позволит аппарату точно определить местоположение объектов и, следовательно, безопасно приблизиться на нужное расстояние для более тщательного осмотра, который аппарат сможет провести с помощью обычных оптических камер.

Команда протестировала Sonar-MASt3R в экспериментах с резервуаром, который они заполнили водой, осадком и различными предметами, такими как небольшой валун, кофейная кружка и упаковочный ящик. Внутри резервуара они также установили роботизированную руку, на которую закрепили подводную камеру и датчик сонара.

Для каждого экспериментального запуска сначала выполнялась траектория сканирования, в ходе которой роботизированная рука медленно перемещалась от одного края резервуара к другому, чтобы получить данные сонара и визуальные данные. С помощью этого первого сканирования Sonar-MASt3R быстро создает приблизительную карту форм и контуров резервуара и его объектов на основе данных сонара. Затем эта приблизительная карта используется для записи изображений объектов крупным планом, которые используются для повышения разрешения карты. Подход с использованием «ключевых кадров» быстро сравнивает каждый новый кадр изображения с последним ключевым кадром. Если кадр содержит новую информацию, отсутствующую в последнем ключевом кадре, изображение добавляется в карту в качестве нового ключевого кадра. Если оно похоже, оно немедленно отбрасывается. Таким образом, подход позволяет быстро заполнять карту соответствующими визуальными деталями в режиме реального времени.

Исследователи протестировали свой новый подход под водой, изучив восемь различных уровней мутности, которые они создали, перемешивая осадок в резервуаре. По сравнению с другими методами оптоакустического слияния, Sonar-MASt3R позволил получить более точные 3D-карты и разрешить более мелкие детали, масштабом в сантиметры, и в условиях облачности. В условиях самой облачной погоды, когда камеры роботизированной руки не могли видеть сквозь нее, ее сонарные датчики смогли создать приблизительную карту скрытых объектов в резервуаре. Эта первоначальная карта позволила руке безопасно перемещаться сквозь мутность и приближаться к конкретным объектам, которые затем ее подводная камера могла визуализировать более детально.

«Можно провести аналогию: представьте, что вы зашли в посудную лавку в темноте и пытаетесь найти нужную кофейную кружку, не опрокинув при этом ничего», — говорит Камилли. «Это позволит вам сделать именно это».

Команда планирует протестировать этот подход в естественных подводных условиях, где, по их мнению, задача картирования должна быть более простой.

«В резервуаре это как эхо-камера, — говорит Камилли. — Это как пытаться сделать это в комнате смеха, где возникают все эти искажения, реверберации и фантомные изображения, которые очень усложняют обработку. В реальном мире это должно быть проще».

Затем, как утверждают специалисты, Sonar-MASt3R сможет помочь ученым безопасно проводить исследования в мутных, замутненных и мутных подводных районах.

«Настоящая ценность этих усилий заключается в том, что мы можем использовать эту технологию в сценариях миссий, которые сейчас неразрешимы», — говорит Фунг. «А таких неразрешимых миссий предостаточно, потому что у нас нет возможностей для наблюдения или восприятия».

Данное исследование было частично поддержано НАСА и Национальным научным фондом.

Источник: news.mit.edu