Защита городов с помощью прогнозирования внезапных наводнений на основе искусственного интеллекта.
Мы расширяем охват глобального прогнозирования наводнений, внедряя прогнозы внезапных наводнений в городских районах. Используя новый метод обучения ИИ на основе новостных данных, мы предоставляем заблаговременное уведомление о таких быстро развивающихся событиях за 24 часа. Это расширение является важным шагом к повышению глобальной устойчивости к изменению климата и обеспечению безопасности населения.
Быстрые ссылки
- Бумага
- Блог Groundsource
- Набор данных наземного источника
- Инициатива по прогнозированию наводнений
- Делиться
По данным Всемирной метеорологической организации (ВМО), на внезапные наводнения приходится примерно 85% всех смертей, связанных с наводнениями, во всем мире. Как правило, они происходят в течение шести часов после сильного дождя, превращают городские улицы в бурные реки и ежегодно уносят более 5000 жизней, что делает их одними из самых смертоносных катастроф в мире. Системы раннего предупреждения (СРП) необходимы для обеспечения безопасности и информированности населения. Доказано, что они спасают жизни и уменьшают ущерб: даже 12-часовое предупреждение может обеспечить 60%-ное снижение ущерба от внезапных наводнений. Однако между странами существует существенный «разрыв в системе предупреждения». В то время как наиболее развитые страны пользуются надежным прогнозированием, жизненно важная инфраструктура практически отсутствует в обширных регионах Глобального Юга, где менее половины развивающихся стран имеют доступ к системам СРП, охватывающим множество опасностей. Это оставляет миллиарды людей без предварительного уведомления, которое имеет решающее значение.
Для решения этой проблемы сегодня мы объявляем о запуске прогнозов внезапных наводнений в городах на платформе Flood Hub. Используя новую методологию на основе искусственного интеллекта, мы теперь можем прогнозировать риск внезапных наводнений в городах за 24 часа до их начала. Эти прогнозы основаны на многолетних исследованиях и представляют собой значительный прорыв в наших возможностях прогнозирования наводнений, а также расширение охвата нашей системы прогнозирования.
До настоящего времени наша Инициатива по прогнозированию наводнений была сосредоточена на речных наводнениях, когда реки выходят из берегов в течение относительно медленного периода времени. Хотя наши прогнозы охватывают более 2 миллиардов человек в 150 странах мира в отношении наиболее значительных речных наводнений, внезапные городские наводнения представляют собой уникальную проблему. В отличие от речных наводнений, внезапные наводнения характеризуются быстрым началом, что требует принципиально иного подхода к прогнозированию.
Задача: «невидимый» потоп
Одна из проблем прогнозирования внезапных наводнений — недостаток «наземных» данных. Модели машинного обучения для речных районов обучаются на основе физических измерительных станций, которые измеряют уровень воды или расход воды. Обучая модели на исторических данных измерений с помощью речных измерительных станций, мы можем точно прогнозировать локальные подъемы уровня воды и предвидеть, когда река, вероятно, выйдет из берегов. Мы также успешно распространили эти прогнозы на районы, где отсутствуют измерительные станции, чтобы обеспечить более глобальное покрытие речных наводнений.
Однако внезапные наводнения могут произойти где угодно и часто вдали от любых гидрологических постов. В городских условиях сложное взаимодействие интенсивных осадков, непроницаемых поверхностей и дренажных систем делает традиционное физическое моделирование вычислительно нецелесообразным в глобальном масштабе. Кроме того, без исторических данных о том, где и когда именно происходили внезапные наводнения в прошлом, традиционные модели машинного обучения с учителем не могут выявить закономерности, необходимые для их прогнозирования.
Для решения проблемы нехватки исторических данных мы использовали Groundsource — новую методологию на основе искусственного интеллекта для извлечения достоверной информации из неструктурированных данных с высокой точностью. Это позволило нам создать набор данных Groundsource о прошлых внезапных наводнениях. Мы использовали Gemini для анализа общедоступных новостных сообщений, в которых упоминаются наводнения, чтобы подтвердить детали событий (например, точные места и время). Затем эти записи были объединены для создания набора данных об исторических наводнениях, который мы использовали для обучения и оценки нашей новой модели внезапных наводнений в городских районах.
Проблема масштабирования: локальная точность против глобального охвата.
Для борьбы с внезапными наводнениями, вызванными ливневыми дождями в конкретных городских условиях, были разработаны специализированные, сверхлокальные системы раннего предупреждения. Примерами таких систем являются Флорида (США), Барранкилья (Колумбия), Манила (Филиппины), Накхон-Си-Таммарат (Таиланд), Маягуэс (Пуэрто-Рико) и Барселона (Испания). Эти системы, как правило, основаны на сети физических датчиков, отслеживающих такие переменные, как прямые и косвенные данные об осадках, уровне воды и скорости потока. Несмотря на высокую точность в конкретных местах, их сложно масштабировать из-за высокой стоимости развертывания оборудования, необходимости в алгоритмах калибровки, специфичных для конкретного места, и инженерной экспертизы.
В более широком смысле, такие инициативы, как Система прогнозирования внезапных наводнений ВМО (FFGS), Европейский индекс стока на основе климатологии (ERIC) и система предупреждений о внезапных наводнениях Национальной метеорологической службы США (NWS), обеспечивают более широкий охват за счет дистанционного зондирования и численных моделей погоды. Однако эти системы сталкиваются со значительными препятствиями при глобальном внедрении. Основная проблема заключается в их зависимости от гидрологических карт высокого разрешения и прогнозов погоды на основе радаров, ресурсов, которые в значительной степени недоступны в странах Глобального Юга. Кроме того, зависимость от профессиональных гидрологов для интерпретации сложных данных моделей и распространения действенных предупреждений представляет собой вторую серьезную проблему.
Для достижения почти глобального охвата наша модель использует только глобальные метеорологические продукты (NASA IMERG, NOAA CPC), а также глобальные прогнозы погоды в реальном времени от атмосферной модели высокого разрешения (HRES) интегрированной системы прогнозирования ECMWF (IFS) и модели среднесрочного глобального прогнозирования погоды на основе искусственного интеллекта от Google DeepMind. В настоящее время система работает с пространственным разрешением 20×20 километров, что в основном обусловлено разрешением глобально доступных источников данных.
Модель: Фокус на городе
Новая модель внезапных наводнений, обученная на данных Groundsource, призвана ответить на конкретный вопрос: учитывая прогнозируемую погоду и местные условия, высока ли вероятность внезапного наводнения в этом районе в течение следующих 24 часов?
Модель использует архитектуру рекуррентной нейронной сети (RNN), построенную с использованием блока долговременной кратковременной памяти (LSTM), специально предназначенного для обработки данных временных рядов. Помимо метеорологических данных временных рядов, она также включает статические географические, геофизические и антропогенные характеристики, такие как плотность урбанизации, топография и скорость поглощения почвы.
На начальном этапе запуска мы сосредоточились на городских районах, предоставляя прогнозы для большей части населения мира. Причина такого выбора заключается в том, что обучающие данные — новостные сообщения — по своей природе более плотные в этих местах. В настоящее время модель прогнозирует влияние в районах с плотностью населения более 100 человек на квадратный километр.
Регионы мира, охваченные нашей моделью.
Результаты оценки
Мы оценили нашу модель на основе набора данных Groundsource, отметив, что сообщаемые показатели точности, вероятно, занижены. Поскольку некоторые реальные наводнения не освещаются в СМИ, достоверные оповещения могут быть ошибочно классифицированы как ложные срабатывания. Ручная проверка случайной подвыборки набора данных (100 оповещений на континент) подтвердила это расхождение, показав, что многие ложные срабатывания на самом деле были подтвержденными наводнениями, и подтвердила, что фактическая точность выше, чем показывают исходные показатели. Мы рассчитали показатель полноты (recall) для наводнений из Глобальной системы оповещения и координации стихийных бедствий (GDACS), чтобы оценить, насколько хорошо наша модель отражает наиболее масштабные наводнения.
Подробные показатели эффективности представлены на графиках ниже. Ключевой вывод заключается в том, что точность и полнота нашей модели в большей части стран глобального Юга — Южной Америке, Юго-Восточной Азии — эквивалентны показателям в самых богатых странах, которые, как правило, получают выгоду от использования современных приборов и привлечения местных экспертов по прогнозированию. Для сравнения мы попытались оценить эффективность предупреждений о внезапных наводнениях Национальной метеорологической службы США (NWS) с использованием тех же показателей. Для обеспечения согласованности мы скорректировали данные NWS в соответствии с нашим разрешением (сетка 20×20 километров с 24-часовыми окнами). Полнота прогнозов NWS составляет 22%, а точность — 44% (что занижено, как указано выше). Это дает представление о сложности задачи и показывает, что наша модель достигает аналогичных результатов во многих странах, наиболее часто страдающих от наводнений.
Однако некоторые пробелы все еще остаются. На карте ( b ) ниже мы показываем только те страны, где у нас было не менее 10 событий в GDACS, чтобы оценить нашу точность. Во многих странах Африки по-прежнему отсутствуют данные наземных наблюдений, помимо Groundsource, что затрудняет точную оценку точности нашей модели.
Верхний ряд: Точность ( a ) и полнота ( b ) по странам. Нижний ряд: Количество событий в Groundsource ( c ) и GDACS ( d ) по странам. Мы исключаем страны с менее чем 10 событиями наземной проверки, поскольку их показатели были бы очень зашумленными. Для наглядного отображения мы ограничиваем цветовую шкалу точности и полноты 50%.
Повышение глобальной устойчивости к изменению климата
Этот запуск является частью семейства геопространственных моделей и наборов данных Google Earth AI и представляет собой важный шаг в поддержку усилий Google по обеспечению устойчивости к кризисам, но это только начало. Мы активно работаем над улучшением обобщающей способности модели для сельских районов, снижением пространственного разрешения для более локальных прогнозов и интеграцией еще большего количества источников данных о погоде в режиме реального времени.
В условиях, когда мы сосредоточены на будущем наших сообществ и нашей планеты, важность масштабируемых инструментов адаптации на основе искусственного интеллекта становится как никогда очевидной. Расширяя охват, чтобы включить в него быстро возникающие угрозы, наиболее сильно затрагивающие города, мы надеемся предоставить правительствам, отдельным лицам и международным организациям информацию, необходимую для обеспечения их безопасности в условиях меняющегося климата.
Благодарности
В разработке этого проекта принимало участие множество людей. Особую благодарность мы хотели бы выразить сотрудникам Google Research: Авиэлю Ниего, Авинатану Хассидиму, Бенни Мошееву, Дану Коренфельду, Деборе Коэн, Дему Геролему, Гиле Лойке, Грею Нирингу, Хадас Фестер, Идо Земаху, Джульетте Ротенберг, Мартину Гауху, Олегу Злыденко, Орену Гилону, Реувену Саягу, Ротему Майо, Шмуэлю Фронману, Шрути Верме, Цвике Штайну, Йосси Матиасу и Ювалю Шилдану.
Источник: research.google