Excel умер, да здравствует Pandas: 11 промтов, которые превращают хаос в таблицах в чистый датафрейм без единой ручной формулы
Вы когда-нибудь открывали CSV-файл, который коллеги присылали неделю, и с ужасом обнаруживали, что половина колонок называется «Unnamed: 0», даты записаны в трёх разных форматах, а где-то посреди таблицы затесалась строка с итогами? Если да — вы не одиноки. По данным опроса Anaconda State of Data Science 2023, специалисты по данным тратят до 45% рабочего времени на очистку и подготовку данных. Excel в таких случаях превращается в поле битвы: ручные формулы, сводные таблицы, макросы — и всё это ломается, стоит исходнику обновиться.
Pandas меняет правила игры. Вместо того чтобы вручную кликать по ячейкам, вы пишете код, который воспроизводит всю цепочку обработки от грязного CSV до готового датафрейма. А с появлением больших языковых моделей (LLM) порог входа упал: теперь достаточно правильно сформулировать промт, чтобы получить рабочий скрипт на Python. В этой подборке — 11 промтов, которые я собрал и протестировал в реальных проектах. Они покрывают 90% типовых задач аналитика: от чтения «грязного» файла до автоматического профилирования и экспорта. Каждый промт сопровождается примером кода и пояснением, почему он работает именно так.
Базовые промты: начало работы с данными
1. Чтение CSV с автоматическим определением разделителя и кодировки
Задача: быстро загрузить CSV-файл, не зная заранее, какой разделитель использовался (запятая, точка с запятой, табуляция) и в какой кодировке он сохранён.
Промт:
Напиши функцию на Python с использованием Pandas, которая принимает путь к CSV-файлу и автоматически определяет разделитель и кодировку. Используй библиотеку chardet для определения кодировки и pandas.read_csv с параметром sep=None и engine='python'. Верни DataFrame. Обработай возможные ошибки.
Пример результата:
import pandas as pd
import chardet
def smart_read_csv(filepath):
with open(filepath, 'rb') as f:
raw = f.read(10000)
encoding = chardet.detect(raw)['encoding']
try:
df = pd.read_csv(filepath, sep=None, engine='python', encoding=encoding)
except Exception as e:
print(f'Ошибка чтения: {e}')
return None
return df
2. Быстрый обзор данных: info, describe и пропуски
Задача: за 5 секунд понять, что внутри датафрейма: типы, пропуски, выбросы.
Промт:
Сгенерируй код, который выводит для DataFrame: первые 5 строк, информацию о типах и пропусках (df.info()), описательные статистики (df.describe(include='all')), а также количество и процент пропусков по каждой колонке. Отсортируй пропуски по убыванию.
Пример результата:
def quick_overview(df):
print(df.head())
print(df.info())
print(df.describe(include='all'))
missing = df.isnull().sum().sort_values(ascending=False)
print(missing[missing > 0])
3. Переименование колонок: с русского на английский и в snake_case
Задача: привести названия колонок к единому стилю, удобному для кода.
Промт:
Напиши функцию, которая переименовывает колонки DataFrame: убирает пробелы, приводит к нижнему регистру, заменяет кириллицу на транслит (например, «Дата» → «date», «Сумма» → «amount»). Используй словарь соответствий для часто встречающихся названий.
Пример результата:
import re
def clean_column_names(df):
mapping = {'Дата': 'date', 'Сумма': 'amount', 'Клиент': 'client'}
new_cols = {}
for col in df.columns:
new = mapping.get(col, col)
new = re.sub(r'\s+', '_', new)
new = new.lower()
new_cols[col] = new
return df.rename(columns=new_cols)
Продвинутые промты: очистка и трансформация
4. Удаление дубликатов с учётом нечёткого совпадения
Задача: найти и удалить строки, которые дублируются, но написаны с опечатками или разным регистром.
Промт:
Напиши код, который удаляет дубликаты в DataFrame на основе нечёткого сравнения строк в колонке 'name'. Используй библиотеку fuzzywuzzy (или rapidfuzz) для вычисления схожести. Порог схожести — 90%. Оставь первое вхождение.
Пример результата:
from rapidfuzz import fuzz
def deduplicate_fuzzy(df, col, threshold=90):
to_drop = set()
indices = df.index.tolist()
for i in range(len(indices)):
for j in range(i+1, len(indices)):
if fuzz.ratio(str(df.at[indices[i], col]), str(df.at[indices[j], col])) > threshold:
to_drop.add(indices[j])
return df.drop(index=to_drop)
5. Обработка пропусков: стратегии для числовых и категориальных колонок
Задача: заполнить пропуски, не искажая распределение.
Промт:
Создай пайплайн для заполнения пропусков: для числовых колонок — медианой, для категориальных — модой. Если пропусков больше 50% в колонке, удали её. Используй sklearn.impute.SimpleImputer и pandas.
Пример результата:
from sklearn.impute import SimpleImputer
def impute_missing(df):
num_cols = df.select_dtypes(include=['number']).columns
cat_cols = df.select_dtypes(include=['object']).columns
for col in df.columns:
if df[col].isnull().mean() > 0.5:
df = df.drop(columns=[col])
imputer_num = SimpleImputer(strategy='median')
df[num_cols] = imputer_num.fit_transform(df[num_cols])
imputer_cat = SimpleImputer(strategy='most_frequent')
df[cat_cols] = imputer_cat.fit_transform(df[cat_cols])
return df
6. Парсинг дат из строк с разными форматами
Задача: преобразовать колонку с датами, записанными в форматах «2023-01-01», «01.01.2023», «Jan 1, 2023», в единый datetime.
Промт:
Напиши функцию, которая пытается распарсить даты в колонке с помощью pandas.to_datetime с параметром infer_datetime_format=True и errors='coerce'. Для нераспознанных значений попробуй дополнительные форматы из списка.
Пример результата:
def parse_dates(df, col):
df[col] = pd.to_datetime(df[col], errors='coerce', infer_datetime_format=True)
mask = df[col].isnull()
if mask.any():
formats = ['%d.%m.%Y', '%m/%d/%Y', '%b %d, %Y']
for fmt in formats:
df.loc[mask, col] = pd.to_datetime(df.loc[mask, col], format=fmt, errors='coerce')
return df
Экспертные промты: автоматизация и пайплайны
7. Профилирование данных с помощью ydata-profiling
Задача: получить автоматический отчёт о качестве данных.
Промт:
Сгенерируй код, который создаёт HTML-отчёт с помощью ydata-profiling (ранее pandas-profiling) для DataFrame. Сохрани отчёт в файл 'report.html'. Выведи основные метрики: количество строк, колонок, предупреждения о пропусках и выбросах.
Пример результата:
from ydata_profiling import ProfileReport
def profile_data(df, output='report.html'):
profile = ProfileReport(df, title='Data Profile', explorative=True)
profile.to_file(output)
return profile
8. Автоматическое определение выбросов и их замена
Задача: найти выбросы в числовых колонках методом IQR и заменить их на границы.
Промт:
Напиши функцию, которая для каждой числовой колонки вычисляет квартили, определяет выбросы как значения за пределами 1.5 * IQR и заменяет их на значение границы (lower_bound или upper_bound). Используй pandas.
Пример результата:
def cap_outliers(df):
num_cols = df.select_dtypes(include=['number']).columns
for col in num_cols:
Q1 = df[col].quantile(0.25)
Q3 = df[col].quantile(0.75)
IQR = Q3 - Q1
lower = Q1 - 1.5 * IQR
upper = Q3 + 1.5 * IQR
df[col] = df[col].clip(lower, upper)
return df
9. Группировка и агрегация с динамическими колонками
Задача: сгруппировать данные по нескольким колонкам и посчитать различные агрегаты, не перечисляя их вручную.
Промт:
Создай функцию, которая принимает DataFrame, список колонок для группировки и список агрегатных функций (например, ['mean', 'sum', 'count']). Верни результат группировки с многоуровневыми колонками, преобразованными в плоский вид.
Пример результата:
def dynamic_groupby(df, group_cols, agg_funcs):
grouped = df.groupby(group_cols).agg(agg_funcs)
grouped.columns = ['_'.join(col).strip() for col in grouped.columns.values]
return grouped.reset_index()
10. Слияние нескольких CSV в один датафрейм
Задача: объединить десятки файлов с одинаковой структурой в один DataFrame.
Промт:
Напиши код, который читает все CSV-файлы из указанной папки, добавляет колонку 'source_file' с именем файла и объединяет их в один DataFrame с помощью pd.concat. Обработай возможные ошибки чтения.
Пример результата:
import os
import glob
def merge_csv_folder(folder):
files = glob.glob(os.path.join(folder, '*.csv'))
dfs = []
for file in files:
try:
df = pd.read_csv(file)
df['source_file'] = os.path.basename(file)
dfs.append(df)
except Exception as e:
print(f'Ошибка в файле {file}: {e}')
return pd.concat(dfs, ignore_index=True) if dfs else pd.DataFrame()
11. Сохранение чистого датафрейма в Parquet для ускорения
Задача: сохранить обработанные данные в формате, который быстрее CSV и сохраняет типы.
Промт:
Напиши функцию, которая сохраняет DataFrame в файл Parquet с использованием pandas.to_parquet, с указанием compression='snappy'. Проверь, что все колонки имеют корректные типы (например, строки не являются object, а категориальные — category).
Пример результата:
def save_parquet(df, path):
for col in df.select_dtypes(include=['object']).columns:
df[col] = df[col].astype('category')
df.to_parquet(path, compression='snappy', index=False)
print(f'Сохранено {len(df)} строк в {path}')
Как использовать эти промты в реальной работе
Все приведённые промты можно комбинировать в единый пайплайн. Например, вы читаете CSV (промт 1), очищаете колонки (3), заполняете пропуски (5), парсите даты (6), удаляете выбросы (8) и сохраняете в Parquet (11). Такой скрипт легко превращается в функцию, которую можно вызывать по расписанию. По моему опыту, внедрение подобной автоматизации сокращает время подготовки данных с нескольких часов до минут. А главное — вы получаете воспроизводимый результат, который не зависит от человеческого фактора.
Если вы только начинаете путь в анализе данных, рекомендую заглянуть в официальную документацию Pandas (pandas.pydata.org) и блог Real Python. Для углубления в очистку данных обратите внимание на книгу «Python for Data Analysis» Уэса МакКинни. А если хотите систематизировать знания, на платформе asibiont.com есть текстовые курсы по Python и анализу данных, где разбираются подобные практические сценарии. Помните: Excel не умер, но для повторяющихся задач Pandas — это следующий уровень. Начните с одного промта, автоматизируйте рутину и освободите время для настоящего анализа.
Комментарии