Как я научился справляться с растущими наборами данных, не замедляя весь рабочий процесс
Делиться
Если вы работали с данными в Python, вы, вероятно, испытывали разочарование, ожидая по несколько минут завершения операции Pandas.
Поначалу все кажется прекрасным, но по мере роста объема данных и усложнения рабочих процессов ваш ноутбук внезапно начинает ощущаться так, будто готовится к взлету.
Пару месяцев назад я работал над проектом по анализу транзакций электронной коммерции с более чем 3 миллионами строк данных.
Это был довольно интересный опыт, но большую часть времени я наблюдал, как простые операции groupby, которые обычно занимали секунды, внезапно растягивались на минуты.
В тот момент я понял, что Pandas — это здорово, но этого не всегда достаточно.
В этой статье рассматриваются современные альтернативы Pandas, включая Polars и DuckDB, а также рассматривается, как они могут упростить и улучшить обработку больших наборов данных.
Для ясности позвольте мне прояснить несколько моментов, прежде чем мы начнем.
Эта статья не является глубоким погружением в управление памятью Rust или заявлением о том, что Pandas устарел.
Это практическое руководство. Вы увидите реальные примеры, личный опыт и практические рекомендации по рабочим процессам, которые сэкономят вам время и нервы.
Источник: towardsdatascience.com
