7 приемов повышения производительности Pandas, которые должен знать каждый специалист по анализу данных.

Что я узнал о том, как ускорить работу Pandas после слишком большого количества медленных блокнотов и зависших сессий.

Делиться

В прошлом месяце я опубликовал статью, в которой подробно рассмотрел некоторые новые инструменты для работы с DataFrame в Python, такие как Polars и DuckDB.

Я изучил, как они могут улучшить рабочий процесс в области анализа данных и повысить эффективность при обработке больших наборов данных.

Вот ссылка на статью.

Основная идея заключалась в том, чтобы дать специалистам по работе с данными представление о том, как выглядят «современные датафреймы» и как эти инструменты могут изменить наш подход к работе с данными.

Но произошло кое-что интересное: из полученных отзывов я понял, что многие специалисты по анализу данных по-прежнему в значительной степени полагаются на Pandas в своей повседневной работе.

И я прекрасно понимаю почему.

Даже при наличии всех новых возможностей, Pandas остается основой для анализа данных на Python.

И это основано не только на нескольких комментариях.

Согласно недавнему опросу State of Data Science, 77% специалистов используют Pandas для исследования и обработки данных.

Мне нравится думать о пандах как о том надёжном старом друге, которому вы постоянно звоните: может быть, не самом эффектном, но вы знаете, что он всегда выполнит свою работу.

Таким образом, хотя новые инструменты, безусловно, обладают своими преимуществами, очевидно, что Pandas никуда не денется в ближайшее время.

Для многих из нас настоящая проблема заключается не в замене Pandas, а в том, чтобы сделать его более эффективным и менее проблематичным при работе с большими наборами данных.

В этой статье я расскажу вам о семи практических способах ускорения работы с Pandas. Эти способы просты в реализации, но способны заметно ускорить ваш код.

Источник: towardsdatascience.com