Современные DataFrames в Python: практическое руководство по Polars и DuckDB

Как я научился справляться с растущими наборами данных, не замедляя весь рабочий процесс

Делиться

Если вы работали с данными в Python, вы, вероятно, испытывали разочарование, ожидая по несколько минут завершения операции Pandas.

Поначалу все кажется прекрасным, но по мере роста объема данных и усложнения рабочих процессов ваш ноутбук внезапно начинает ощущаться так, будто готовится к взлету.

Пару месяцев назад я работал над проектом по анализу транзакций электронной коммерции с более чем 3 миллионами строк данных.

Это был довольно интересный опыт, но большую часть времени я наблюдал, как простые операции groupby, которые обычно занимали секунды, внезапно растягивались на минуты.

В тот момент я понял, что Pandas — это здорово, но этого не всегда достаточно.

В этой статье рассматриваются современные альтернативы Pandas, включая Polars и DuckDB, а также рассматривается, как они могут упростить и улучшить обработку больших наборов данных.

Для ясности позвольте мне прояснить несколько моментов, прежде чем мы начнем.

Эта статья не является глубоким погружением в управление памятью Rust или заявлением о том, что Pandas устарел.

Это практическое руководство. Вы увидите реальные примеры, личный опыт и практические рекомендации по рабочим процессам, которые сэкономят вам время и нервы.

Источник: towardsdatascience.com