Программа MIT Sea Grant совместно с Центром климатических исследований Вудвелла и другими партнерами демонстрирует систему мониторинга рыб на основе глубокого обучения. 
Сельдь-алевайф мигрирует вверх по течению. Фото предоставлено Службой охраны рыбных ресурсов и дикой природы США. 
Команда собрала подводные видеоматериалы из трех рек в Массачусетсе: реки Кунамессет (Фалмут), реки Ипсвич (Ипсвич) и реки Сантуит (Машпи). Изображение: Роб Винсент/MIT Sea Grant 
Речная сельдь была идентифицирована, отслежена и подсчитана с помощью автоматизированной системы видеонаблюдения. Изображение: Роб Винсент/MIT Sea Grant
Каждую весну популяции речной сельди мигрируют из прибрежных вод Массачусетса, чтобы начать свой ежегодный путь вверх по рекам и ручьям к пресноводным нерестилищам. За последние несколько десятилетий численность речной сельди резко сократилась, и ее миграция тщательно отслеживается в регионе, главным образом с помощью традиционного визуального подсчета и программ, реализуемых волонтерами.
Мониторинг перемещения рыб и понимание динамики популяций имеют важное значение для обоснования мер по сохранению и поддержки управления рыболовством. В этом месяце начинается ежегодный ход сельди, и исследователи и специалисты по управлению ресурсами вновь сталкиваются с задачей максимально точного подсчета и оценки мигрирующей популяции рыб.
Группа исследователей из Центра климатических исследований Вудвелла, программы MIT Sea Grant, Лаборатории компьютерных наук и искусственного интеллекта MIT (CSAIL), Лаборатории Линкольна MIT и компании Intuit изучила новый метод мониторинга с использованием подводного видео и компьютерного зрения для дополнения усилий гражданской науки. Исследователи — Чжунци Чен и Линда Диган из Центра климатических исследований Вудвелла, Роберт Винсент и Кевин Беннетт из программы MIT Sea Grant, Сара Бири и Тимм Хауке из CSAIL MIT, Остин Пауэлл из Intuit и Лидия Зуэсов из Лаборатории Линкольна MIT — опубликовали статью с описанием этой работы в журнале Remote Sensing in Ecology and Conservation в феврале этого года.
В статье с открытым доступом «От моментальных снимков к непрерывным оценкам: расширение возможностей гражданской науки с помощью компьютерного зрения для мониторинга рыб» описывается, как последние достижения в области компьютерного зрения и глубокого обучения, от обнаружения и отслеживания объектов до классификации видов, предлагают перспективные практические решения для автоматизации подсчета рыбы с повышением эффективности и качества данных.
Традиционные методы мониторинга ограничены временем, условиями окружающей среды и трудоемкостью. Визуальный подсчет, проводимый добровольцами, ограничен короткими дневными периодами наблюдения, пропуская ночные перемещения и короткие миграционные импульсы, когда сотни рыб проплывают мимо в течение нескольких минут. Хотя такие технологии, как пассивный акустический мониторинг и гидролокатор, позволили улучшить непрерывный мониторинг рыб в определенных условиях, наиболее перспективный и недорогой вариант — ручной просмотр подводного видео — по-прежнему трудоемок и занимает много времени. В связи с растущим спросом на автоматизированные решения для обработки видео, в данном исследовании представлена масштабируемая, экономически эффективная и действенная система на основе глубокого обучения для надежного автоматизированного мониторинга рыб.
Команда разработала комплексную систему — от подводных камер, установленных в полевых условиях, до маркировки видеоматериалов и обучения моделей — для автоматизированного подсчета рыбы с помощью компьютерного зрения. Видеоматериалы были собраны в трех реках штата Массачусетс: Кунамессет в Фалмуте, Ипсвиче и Сантуите в Машпи.
Для подготовки обучающего набора данных команда отобрала видеоклипы с различными вариантами освещения, прозрачности воды, видов и плотности рыб, времени суток и сезона, чтобы обеспечить надежную работу модели компьютерного зрения в различных реальных условиях. Они использовали веб-платформу с открытым исходным кодом для покадровой разметки видео с помощью ограничивающих рамок для отслеживания движения рыб. В общей сложности они разметили 1435 видеоклипов и аннотировали 59 850 кадров.
Исследователи сравнили и подтвердили результаты подсчета с помощью компьютерного зрения, используя видеозаписи, полученные людьми, визуальные подсчеты вдоль берегов рек и данные пассивного интегрированного транспондерного мечения (PIT). Они пришли к выводу, что модели, обученные на разнообразных данных, полученных в разных местах и за несколько лет, показали наилучшие результаты и обеспечили подсчеты с высоким разрешением в течение всего сезона, соответствующие традиционно установленным оценкам. Более того, система позволила получить представление о миграционном поведении, сроках и моделях перемещения, связанных с факторами окружающей среды. Используя видеозаписи миграции в реке Кунамессет в 2024 году, система подсчитала 42 510 речных сельдей и показала, что миграция вверх по течению достигала пика на рассвете, в то время как миграция вниз по течению носила преимущественно ночной характер, при этом рыбы использовали более темные и тихие периоды, чтобы избежать хищников.
С помощью этого практического применения исследователи стремятся продвинуть компьютерное зрение в управлении рыболовством и предоставить основу и лучшие практики для интеграции этой технологии в усилия по сохранению широкого спектра водных видов. «Программа MIT Sea Grant уже некоторое время финансирует работу по этой теме, и эта превосходная работа Чжунци Чена и его коллег позволит расширить возможности мониторинга рыболовства и улучшить оценку популяций рыб для руководителей рыболовных хозяйств и природоохранных групп», — говорит Винсент. «Она также обеспечит образование и обучение для студентов, общественности и групп гражданской науки в поддержку экологически и культурно важных популяций речной сельди вдоль наших побережий».
Тем не менее, продолжение традиционного мониторинга имеет важное значение для поддержания согласованности долгосрочных наборов данных до тех пор, пока агентства по управлению рыболовством полностью не внедрят автоматизированные системы подсчета. Даже после этого компьютерное зрение и гражданская наука должны рассматриваться как взаимодополняющие. Добровольцы будут необходимы для обслуживания камер и для непосредственного участия в рабочем процессе компьютерного зрения, от аннотирования видео до проверки моделей. Исследователи предполагают, что интеграция наблюдений граждан и данных, полученных с помощью компьютерного зрения, поможет создать более комплексный и целостный подход к мониторингу окружающей среды.
Данная работа финансировалась программой MIT Sea Grant, а также при дополнительной поддержке Северо-восточного научно-исследовательского центра по адаптации к изменению климата, гранта MIT Abdul Latif Jameel Water and Food Systems, Глобального центра по изучению искусственного интеллекта и изменения биоразнообразия (при поддержке Национального научного фонда и Совета по естественным наукам и инженерным исследованиям Канады) и Программы возможностей для проведения исследований среди студентов бакалавриата MIT.
Источник: news.mit.edu
