Более продолжительное лето, более мягкая зима: анализ температурных тенденций в Юзесе, Франция, из года в год.
Делиться
Живя на юге Франции, я биологически вынуждена каждый год терпеть один и тот же замкнутый круг светских бесед: «Ужасно жарко, правда? Намного жарче, чем в 2020 году», или классическое: «В мои времена у нас было четыре сезона, а не только «до духовки» и «во фритюрнице»».
Честно говоря, меня тоже так и тянет кивнуть и пожаловаться, но у меня память как у золотой рыбки, а мозг требует неопровержимых фактов, прежде чем я начну ныть. Поскольку я не помню, был ли прошлый июль «потным» или «раскалённым», мне бы очень хотелось иметь какие-нибудь реальные данные, подтверждающие моё ворчание.
Я работаю в icCube. Для меня это практически профессиональный грех — вступать в дискуссию, основанную на данных, не используя при этом инструменты корпоративного уровня, применяемые в спонтанных обсуждениях.
За следующим аперитивом, когда кто-то начнет вспоминать, как «1976 год был настоящим жарким», я не должен просто вежливо кивать, потягивая свой пастис. Я должен достать высокопроизводительную, идеально проработанную панель управления, которая визуализирует их ностальгию до полного забвения. Если я не могу использовать многомерный анализ, чтобы доказать, что наши потовые железы работают усерднее, чем в семидесятые, то что я вообще делаю со своей жизнью?
Хотя это путешествие началось как попытка разрешить местный спор на юге Франции, эта статья выходит за рамки дискуссии о климате. Она служит планом решения классической задачи обработки данных: как спроектировать высокопроизводительную аналитическую систему, способную осмыслить многолетние исторические данные, применимые к любой области, требующей сравнения исторических и текущих данных.
План сражения
Вот план, описывающий наш тактический удар, направленный против смутных воспоминаний и отдельных случаев:
- Сбор информации : Поиск чистых цифр, основанный на принципе «накал страстей», — это не показатель, нам нужна высокоэффективная информация.
- Создание оперативного штаба : проектирование конструкции, достаточно прочной, чтобы выдерживать десятилетия аномальной жары, не вспотев.
- Аналитический молоток : Применение мощной логики, необходимой для превращения необработанных данных в неопровержимое, сокрушающее ностальгию доказательство.
- Визуальное «Я же говорил!» : разработка идеально выверенной панели управления, способной положить конец любому спору за аперитивом за три секунды.
- Поздравления с победой : Теперь, когда мы одержали победу в дискуссии о климате, какие еще внутренние мифы мы развеем с помощью данных?
Разведка разведданных
Данные имеют центральное значение для нашей миссии. Поэтому нам необходимо получить точные и достоверные исторические данные о температуре из Франции.
Méteo-France, национальная метеорологическая и климатологическая служба, является государственным учреждением. Она предоставляет всем пользователям данные, полученные в рамках выполнения своих государственных задач, на своем общедоступном портале данных: datagouv.fr. Да благословят Бог общедоступные порталы данных. В то время как половина мировых данных скрыта за платными подписками и регистрационными формами, требующими указания группы крови, Франция просто… предоставляет их. Свобода, равенство, температура.
Данные, использованные в этом посте, распространяются в соответствии с лицензией Open License 2.0.
Наблюдения
Климатологические (ежедневные/почасовые) данные со всех городских и зарубежных метеостанций с момента их открытия по всем доступным параметрам. Данные прошли климатологический контроль: www.
Метеостанции
Характеристики действующих метеорологических станций на территории материковой Франции и заморских территорий: www.
Предварительный анализ и преобразования
Подобно Сент-Томасу, я предпочитаю самостоятельно изучать и анализировать фактические данные, чтобы сначала получить хорошее представление о ситуации и провести некоторую проверку на адекватность, прежде чем делать какие-либо выводы.
Чтобы всё было аккуратно, я извлекал необработанные данные о температуре из имеющихся у нас наблюдений. Будучи убеждённым Java-энтузиастом, я создал для этой задачи набор классов и разместил их в проекте на GitHub. Можете смело перебирать код и использовать его сколько угодно раз.
Я не собираюсь сейчас утомлять вас скучной лекцией о данных. Это было бы все равно что подать чуть теплое розовое вино — абсолютное преступление, а возможно, и незаконное в некоторых провансальских деревнях.
При необходимости я буду углубляться в детали.
Создание оперативного штаба
Если мы хотим раз и навсегда разрешить эти споры о террасах, мы не можем просто прийти с электронной таблицей и мечтой. Нам нужна OLAP-схема; структура настолько надежная, что на ее фоне местная историческая каменная кладка будет выглядеть хлипкой. Для этого конкретного спора мы делаем ее компактной, но поверьте, она рассчитана на масштаб, когда неизбежно разразится следующий спор о «самой мягкой зиме за всю историю».
Давайте разберем архитектуру.
Размеры
- Метеостанции : Это позволяет нам точно определить местоположение метеостанции на карте Франции, потому что сказать «где-то на юге» недостаточно. Нам нужны координаты, названия и всё остальное.
- Время/Календарь : Обычные параметры: годы, месяцы, дни. Скучно? Конечно. Незаменимо для доказательства того, что у вашего соседа ужасная память? Безусловно. Мы добавляем « Месяцы и дни месяца» , чтобы создать виджет календаря, который позволит мне указать на любую конкретную дату и сказать: «Видите? 1 июля 2025 года был настоящим адом». Точность — ключ к успеху, когда вы портите кому-то ностальгические воспоминания.
Факты (или, другими словами, показатели)
- Температуры : «Святая Троица» показателей — среднее , максимальное и минимальное значения . Это основной параметр для нашего анализа «фритюрница» и «предварительная духовка».
Полное определение схемы размещено в проекте GitHub вместе с исходным кодом, и вы можете использовать его, когда захотите отомстить.
Куб
Конечный результат? Перегруженная схема, содержащая более 500 миллионов строк данных о температуре во Франции, начиная с 1780 года. Является ли это явным перебором для непринужденной беседы за оливками? Конечно, является. В этом и суть.
Это даёт нам возможность в дальнейшем экспериментировать с другими показателями. Но давайте оставим это на тот случай, когда мы действительно захотим заставить людей пожалеть о том, что они вообще затронули тему погоды.
Аналитический молоток
Пора составить запрос, который за три секунды положит конец следующей дискуссии об аперитиве.
Чтобы отсеять лишнюю информацию, я использую язык MDX: язык запросов, специально разработанный для такого рода многомерных сложных вычислений. Чтобы доказать, что мы действительно живем в «фритюрнице», я собираюсь сравнить температуру каждого дня с историческим эталонным периодом.
Если вы не знакомы с MDX, переходите сразу к наглядному изображению. Запрос, по сути, указывает системе обработки данных найти среднее «нормальное» значение для этого конкретного дня за 30 лет и вычесть его из сегодняшней температуры.
Во-первых, отчётный период (он же наш базовый период) определяется как статическое множество с использованием оператора диапазона (например, 1991–2000):
со статическим набором [Период] как { [Время].[Время].[Год].[1991] : [Время].[Время].[Год].[2020] }
«Почему 30 лет?» Потому что именно столько климатологи и Всемирная метеорологическая организация считали «нормой» до того, как планета начала экспериментировать с новыми настройками термостата. Это золотой стандарт «климатологической нормы»; достаточно долгий, чтобы сгладить странные годы, и достаточно короткий, чтобы еще помнить, каково это — ощущать «норму» раньше».
Среднесуточная температура определяется как среднее значение максимальной и минимальной температур за день. Я экспериментировал со средними значениями за час; результаты практически идентичны. Поэтому давайте придерживаться этого простого и общепринятого определения:
with [T_Avg_Daily] as ( [Measures].[Temperature (max.)] + [Measures].[Temperature (min.)] ) / 2 , FORMAT_STRING=».#»
Теперь нам нужно знать, какой должна быть температура. Мы вычисляем среднее значение этих суточных температур, усредненных за наш базовый период:
with [T_Avg_Period] as avg( [Period], [T_Avg_Daily] ) , FORMAT_STRING=».#»
Наконец, мы вычисляем разницу, точно измеряя, насколько сегодня жарче (или холоднее) по сравнению с прошлыми годами. Это значение разницы позволяет точно определить, сколько мы потеем в общей сложности:
with [T_Avg_Diff] as IIF( isEmpty( [T_Avg_Daily] ), null, [T_Avg_Daily] — [T_Avg_Period] )
В итоге, вот MDX-запрос, который сравнивает суточные температуры в Юзесе за 2025 год с рекордными данными:
со статическим набором [Период] как { [Время].[Время].[Год].[1991] : [Время].[Время].[Год].[2020] } [T_Avg_Daily] as ( [Measures].[Temperature (max.)] + [Measures].[Temperature (min.)] ) / 2 , FORMAT_STRING=».#» [T_Avg_Period] as avg( [Period], [T_Avg_Daily] ) , FORMAT_STRING=».#» [T_Avg_Diff] as IIF( isEmpty( [T_Avg_Daily] ), null, [T_Avg_Daily] — [T_Avg_Period] ) select [Time].[Months].[Months] on 0 [Time].[Days of Months].[Days of Months] on 1 from [Observations] where [T_Avg_Diff] filterby [Время].[Время].[Год].&[2025-01-01T00:00:00.000] фильтр по [Станция].[Станция].[Название].&[30189001] — Ним Курбессак
Внимательный читатель заметит, что я заменил местную станцию Юзес на станцию Ним-Курбессак. Почему? Потому что мне нужны эти ценные исторические данные, чтобы подпитывать мои сравнения «в мои времена», а у Нима просто более долгая память. Он находится прямо по соседству, поэтому температура практически одинакова, хотя, честно говоря, в Ниме обычно немного жарче.
В следующем разделе я покажу вам, как добавить немного цвета к этим значениям, чтобы вы могли с первого взгляда заметить волны жары.
Видеоклип «Я же говорил!»
Итак, пора перестать пялиться в сырой код и наконец-то создать визуализацию для этого MDX-результата. Мой план? Уместить весь год в одну двухмерную сетку, потому что смотреть на прокручиваемый список из 365 дат — это прямой путь к мигрени.
Схема проста: месяцы по горизонтальной оси, дни месяца по вертикальной. Каждая ячейка представляет собой разницу температур, то есть разницу (в градусах Цельсия) между 2025 годом и нашим эталонным периодом. Чтобы сделать её «защищённой от ошибок» на тот случай, если я в следующий раз выпью три стакана пастиса, я применил тепловую карту: чем жарче был день по сравнению с прошлым, тем краснее ячейка; чем холоднее, тем синее.
Сразу оговорюсь: я не «визуальный человек». Мои эстетические предпочтения обычно начинаются и заканчиваются вопросом: «Выполняется ли запрос менее чем за 50 миллисекунд?». Но даже с моим отсутствием художественного чутья, данные говорят сами за себя.
Одного взгляда на эту сетку достаточно, чтобы стало мучительно ясно: 2025 год — это не просто «немного мягкий». Это море яростного багрового цвета, доказывающее, что наш отчётный период относится к миру, который был значительно менее «до появления печи». Если это не заставит замолчать толпу, которая будет кричать «в мои времена» на следующей вечеринке, то ничто другое не сможет.
Мои ностальгические воспоминания о прошлых годах (1980-2000)
Я перенастраиваю базовый уровень, чтобы он соответствовал годам моей молодости. Переместив отсчет на те «золотые времена», я обнаружил, что мой мозг не преувеличивал; данные подтверждают явный сдвиг от умеренных летних каникул прошлых лет к этой новой интенсивности.
Неудивительно, что лаванда испытывает стресс.
#Дней > 35
Мне стало любопытно; это просто мое воображение, или же «температурный режим» на этой планете действительно ускоряется? Я решил провести небольшой эксперимент: посчитать, сколько дней в году термометр показывает или превышает отметку в 35°C.
Ни для кого не стало неожиданностью, что данные подтверждают сокращение периода использования духовок до начала приготовления пищи, и официально начинается эра фритюрниц.
2003 год: Когда лето превратилось в трагедию
Там, в данных, резкий пик, возвышающийся над всеми остальными. Лето 2003 года. Пятнадцать тысяч человек не пережили те невыносимые дни, когда температура превышала 35°C. Только во Франции. В стране, которая не понимала, насколько смертельной может быть жара. На графике не отражены пустые стулья за обеденными столами той осенью, семьи, навсегда изменившиеся, осознание, которое пришло слишком поздно.
Эти диаграммы сами по себе не доказывают глобальное изменение климата; они лишь с достаточной точностью подтверждают локальную реальность.
Круг после победы
Вот так можно превратить обычный вечерний коктейль в целенаправленный опрос, основанный на анализе данных.
Мы официально представили данные и MDX, чтобы доказать, что «раньше было круче» — это не просто ворчание пожилого человека после лишнего бокала «Рикард», а подтвержденный факт. Стоит ли приносить многомерную тепловую карту на вечеринку, чтобы быстро потерять друзей и перестать получать приглашения на аперитивы? Вероятно . Но стоит ли тишина, которая следует за идеально исполненным «Я же говорил»? Каждый раз.
Данные не остановят накал страстей, но, будем надеяться, положат конец неприятным спорам по этому поводу.
Индекс «Мистральского безумия»
Теперь, когда жара утихла, я нацелился на легендарный мистраль. На каждой деревенской площади от Валанса до Марселя существует священное «Правило трех», которое гласит: как только начинается мистраль, он должен дуть 3, 6 или 9 дней. Это своего рода местная нумерология, которую люди защищают ценой своей жизни.
Я уже готовлю новую схему «ветрового охлаждения», чтобы сопоставить почасовые скорости порывов ветра с этим календарным мифом. Я хочу выяснить, действительно ли ветру важны числа, кратные трём, или это просто наш мозг пытается найти закономерности в хаосе, пока наши ставни дребезжат.
Источник: towardsdatascience.com
