Прекратите писать циклы в Pandas: 7 более быстрых альтернатив.

В этой статье вы узнаете, как заменить циклы pandas семью более быстрыми методами оптимизации обработки данных.

# Введение

Построчная итерация — одно из наиболее распространенных узких мест в производительности кода pandas . На небольших наборах данных это незаметно, но при обработке больших наборов данных становится существенным фактором.

Библиотека pandas построена на основе NumPy , которая выполняет операции над целыми массивами одновременно с помощью скомпилированного кода на языке C. Циклическая обработка строк в Python полностью обходит этот механизм и заставляет выполнять каждую операцию обратно в интерпретатор Python — по одной строке за раз.

В этой статье рассматриваются 7 альтернатив циклам в pandas, каждая из которых подходит для разных типов преобразований. К концу статьи у вас сформируется четкая схема, какой инструмент использовать в зависимости от сложности задачи.

Вы можете скачать блокнот Colab на GitHub .

# Настройка набора тестовых данных

В этой статье мы будем использовать реалистичный набор данных о заказах в электронной коммерции:

import pandas as pd import numpy as np np.random.seed(42) n = 100_000 categories = ['Электроника', 'Одежда', 'Дом и кухня', 'Спорт', 'Книги'] regions = ['Север', 'Юг', 'Восток', 'Запад'] df = pd.DataFrame({ 'order_id': range(1, n + 1), 'customer_age': np.random.randint(18, 70, n), 'product_category': np.random.choice(categories, n), 'region': np.random.choice(regions, n), 'price': np.round(np.random.uniform(5.0, 500.0, n), 2), 'quantity': np.random.randint(1, 10, n), 'days_to_ship': np.random.randint(1, 14, n), }) display(df.head())

Выход:

Теперь у нас есть набор данных из 100 000 строк, с которыми мы можем работать.

# 1. Использование векторизованных операций для арифметики

При выполнении любых арифметических операций или сравнений в столбце, векторизованные операции должны быть вашим первым выбором.

Наша цель : рассчитать общую выручку с каждого заказа.

df['revenue'] = df['price'] * df['quantity'] display(df[['price', 'quantity', 'revenue']].head())

Выход:

# 2. Применение функции для условной логики

Если преобразование включает в себя логику, которую нельзя выразить с помощью простых арифметических операций, метод `.apply()` позволяет передать функцию по столбцу или строке.

Наша цель : присваивать приоритетную этикетку для отправки в зависимости от количества дней до доставки.

def shipping_label(days): if days

Источник: www.kdnuggets.com