Создание конвейера данных для мониторинга тенденций преступности в регионе.

Пошаговое руководство по созданию ETL-конвейера для извлечения данных о локальных преступлениях и их визуализации в Metabase.

Делиться

Вы заинтересованы в изучении тенденций преступности в вашем районе. Вы знаете, что соответствующие данные существуют, и обладаете базовыми аналитическими навыками, которые можете использовать для их анализа. Однако эти данные часто меняются, и вы хотите, чтобы ваш анализ был актуальным и учитывал самые последние случаи преступлений, не повторяя его. Как можно автоматизировать этот процесс?

Если вы наткнулись на эту статью, вам повезло! Вместе мы разберем, как создать конвейер обработки данных для извлечения данных из местных полицейских протоколов и подключить его к платформе визуализации для изучения тенденций преступности в регионе с течением времени. В этой статье мы извлечем данные об инцидентах, зарегистрированных в полицейском управлении Кембриджа (штат Массачусетс), а затем визуализируем эти данные в виде панели мониторинга в Metabase.

Кроме того, эта статья может служить общим шаблоном для всех, кто хочет создавать ETL-конвейеры, управляемые с помощью Prefect, и/или для тех, кто хочет подключить Metabase к своим хранилищам данных для создания информативных анализов/отчетов.

Примечание: Я не имею никакого отношения к Metabase — мы просто будем использовать Metabase в качестве примера платформы для создания нашей итоговой панели мониторинга. Существует множество других жизнеспособных альтернатив, которые описаны в этом разделе.

Содержание :

• Предварительные знания
• Интересующие данные
• Конвейер ETL
  • ETL: Извлечение
  • ETL: Проверка
  • ETL: Преобразование
  • ETL: Загрузка
  • Определение конвейера обработки данных
• Визуализация в Metabase
• Подведение итогов и дальнейшая работа
• Исходный код и GitHub

Источник: towardsdatascience.com