Когда перед нашей командой встала задача обрабатывать еженедельные выгрузки по 50 000 строк, мы поняли: старый подход с ручным написанием SQL-запросов и построением графиков в Excel больше не работает. Первый же эксперимент с промтами для анализа данных сократил время обработки с трёх дней до двух часов. В этой статье я делюсь проверенными промтами, которые мы используем в работе ежедневно. Они не только ускоряют рутину, но и помогают находить неочевидные паттерны в данных.
1. Промт для быстрой разведки данных
Когда использовать: при первом знакомстве с новым датасетом.
Ты — опытный аналитик данных. У тебя есть датасет с колонками: [перечислите колонки]. Проведи разведочный анализ: определи типы данных, количество пропусков, уникальные значения в каждой колонке, основные статистики (среднее, медиана, стандартное отклонение). Выведи результаты в виде таблицы. Для каждой колонки предложи, какие визуализации будут наиболее информативны.
Пример: для датасета с продажами (колонки: date, product, region, revenue, units) промт вернул сводку, где сразу стало видно: колонка region содержит пропуски в 15% строк, а в revenue есть выбросы. Мы тут же скорректировали план очистки.
2. Промт для очистки данных
Когда использовать: когда нужно быстро обработать пропуски, дубликаты и аномалии.
Предложи стратегию очистки данных для датасета с колонками [перечислите]. Учти: пропуски в категориальных колонках заполни модой, в числовых — медианой. Дубликаты удали по всем колонкам. Выбросы в колонке [название] определи методом IQR и замени на границы. Напиши код на Python с использованием pandas.
Результат: мы получили готовый скрипт, который сократил ручную очистку с 4 часов до 20 минут.
3. Промт для генерации признаков (feature engineering)
Когда использовать: когда нужно создать новые признаки для ML-моделей.
Для датасета с колонками [перечислите] предложи 5 новых признаков, которые могут улучшить предсказательную способность модели. Обоснуй каждый признак и напиши код на Python для их создания.
Пример: для датасета о клиентах банка промт предложил признак days_since_last_transaction, который оказался самым важным в модели классификации.
4. Промт для автоматизации отчетности
Когда использовать: когда нужно регулярно формировать отчеты для руководства.
Ты — BI-аналитик. По данным из таблицы [название] с колонками [перечислите] сформируй отчет: группировка по [колонка], расчет метрик: сумма, среднее, динамика по сравнению с прошлым периодом. Выведи результат в виде таблицы и опиши ключевые выводы.
Эффект: наш еженедельный отчет теперь генерируется за 5 минут вместо 3 часов.
5. Промт для написания SQL-запросов
Когда использовать: когда нужно быстро получить данные из БД.
Напиши SQL-запрос для PostgreSQL, который выведет [что нужно] из таблицы [название] с условиями [опишите]. Используй оконные функции для расчета скользящего среднего по дате.
Пример: запрос для расчета скользящей выручки за 7 дней по регионам вернул корректный синтаксис с OVER (PARTITION BY region ORDER BY date ROWS BETWEEN 6 PRECEDING AND CURRENT ROW) — мы просто скопировали и выполнили.
6. Промт для визуализации данных
Когда использовать: когда нужно быстро построить графики.
По данным в формате CSV (приложи пример) построй интерактивный график на Python с помощью Plotly: временной ряд продаж по регионам с фильтром по дате. Сохрани в HTML.
Практика: мы получили готовый код с plotly.express.line(), который сразу отобразил динамику по каждому региону.
7. Промт для объяснения результатов модели
Когда использовать: когда нужно понять, почему модель дала такой прогноз.
Объясни результаты модели машинного обучения (градиентный бустинг) для клиента с признаками [перечислите значения]. Используй SHAP-значения: покажи, какие признаки больше всего повлияли на прогноз и почему.
Результат: мы смогли объяснить менеджеру, почему конкретному клиенту отказано в кредите — это повысило доверие к модели.
8. Промт для написания документации
Когда использовать: когда нужно задокументировать пайплайн анализа.
Опиши пайплайн обработки данных для проекта [название]: этапы загрузки, очистки, преобразования, моделирования. Для каждого этапа укажи используемые библиотеки и примерное время выполнения. Оформи в формате Markdown.
Польза: документация, на которую раньше уходил день, теперь создается за 15 минут.
9. Промт для проверки гипотез
Когда использовать: когда нужно статистически подтвердить или опровергнуть гипотезу.
У меня есть две группы данных: [группа A] и [группа B]. Проверь гипотезу о равенстве средних с помощью t-критерия Стьюдента. Выведи p-value и интерпретируй результат.
Пример: мы сравнили конверсию в двух версиях лендинга — промт помог провести тест и принять решение об A/B-тестировании.
10. Промт для оптимизации кода
Когда использовать: когда скрипт работает слишком долго.
Вот мой код на Python для обработки данных (приложите код). Найди узкие места и предложи оптимизации: например, замени циклы на векторные операции, добавь индексы к DataFrame. Оцени ожидаемый прирост производительности.
Эффект: наш скрипт обработки 10 млн строк ускорился в 5 раз после замены циклов на apply() и использования numpy операций.
11. Промт для генерации синтетических данных
Когда использовать: когда нужно протестировать алгоритмы на данных, которых пока нет.
Сгенерируй синтетический датасет на 1000 строк с колонками: дата, регион, продукт, выручка, количество. Используй реалистичные распределения: выручка — логнормальное, количество — пуассоновское. Выведи первые 5 строк.
Практика: мы протестировали новый алгоритм аномалий на синтетике, прежде чем запускать на реальных данных.
12. Промт для обучения модели на временных рядах
Когда использовать: когда нужно построить прогноз.
Обучи модель ARIMA для прогнозирования временного ряда [данные]. Подбери параметры p, d, q с помощью AIC. Выведи прогноз на 30 дней вперед и построй график.
Пример: прогноз спроса на складские запасы с помощью statsmodels.tsa.arima.model помог сократить издержки на хранение.
Итоги
Эти промты — не просто шпаргалка, а рабочий инструмент, который мы внедрили в ежедневную практику. Они экономят часы, а иногда и дни. Начните с одного-двух, адаптируйте под свои задачи — и вы увидите, как растет ваша продуктивность. Попробуйте применить их к своим данным уже сегодня — и убедитесь сами.
Комментарии