Вы запускаете A/B-тест, смотрите на цифры через два дня и видите: конверсия выросла на 15%! Радостно останавливаете эксперимент, внедряете изменение — а через месяц конверсия падает ниже исходной. Знакомо? Проблема в том, что интуитивный подход к A/B-тестам («запустить и смотреть на цифры») почти гарантированно ведёт к ложным победам. Статистически корректный подход требует заранее рассчитать размер выборки, зафиксировать метрики и не подглядывать в данные до окончания теста. В этой подборке — промты для LLM, которые помогают выступить в роли статистика: рассчитать мощность, проверить p-value и доверительные интервалы, найти ошибки в дизайне эксперимента. Вы получите не просто шаблоны, а понимание, когда какой подход выбрать, исходя из объёма трафика, допустимого риска ошибки и цены ложной победы.
Интуитивный vs статистически корректный подход: что выбрать
Многие команды запускают A/B-тесты, не задумываясь о статистике. Они смотрят на графики, ждут, пока разница станет «очевидной», и принимают решение. Проблема в том, что человеческий глаз плохо оценивает случайные колебания. Даже если изменение не даёт эффекта, графики могут показать «рост» на 10–20% из-за шума. Чем чаще вы смотрите на данные, тем выше вероятность увидеть ложный сигнал.
Статистически корректный подход начинается до запуска теста. Вы определяете минимальный обнаруживаемый эффект (MDE), рассчитываете необходимый размер выборки, фиксируете основную метрику и правило остановки. Затем запускаете тест и не вмешиваетесь до его окончания. Такой подход требует дисциплины, но спасает от дорогих ошибок.
Критерий выбора прост: если у вас мало трафика (например, менее 1000 конверсий в месяц) или цена ошибки высока (изменение в критическом бизнес-процессе), статистический подход обязателен. Если трафика много, а эксперимент дешёвый и обратимый, можно позволить себе более гибкие методы, но даже тогда лучше следовать базовым правилам.
Промты для расчёта размера выборки и мощности
Промт 1: Базовый расчёт размера выборки для двух пропорций
Задача: Определить, сколько пользователей нужно в каждой группе, чтобы обнаружить заданный эффект с заданной мощностью.
Промт:
Ты — статистик. Рассчитай размер выборки для A/B-теста с двумя пропорциями.
Входные данные:
- Базовая конверсия: 10%
- Минимальный обнаруживаемый эффект (относительный): 20% (то есть ожидаемая конверсия в тестовой группе 12%)
- Уровень значимости (alpha): 0.05
- Мощность (1-beta): 0.8
- Двусторонний тест
Формула: n = (Z_alpha/2 + Z_beta)^2 * (p1*(1-p1) + p2*(1-p2)) / (p2 - p1)^2
Где p1 = 0.10, p2 = 0.12.
Z_alpha/2 = 1.96, Z_beta = 0.84.
Посчитай размер выборки на группу и общий размер. Объясни каждый шаг.
Пример результата:
LLM выдаст расчёт: n = (1.96 + 0.84)^2 * (0.10.9 + 0.120.88) / (0.02)^2 = 7.84 * (0.09 + 0.1056) / 0.0004 = 7.84 * 0.1956 / 0.0004 ≈ 3833. Таким образом, нужно примерно по 3833 пользователя в каждой группе, общий размер — 7666. Это означает, что при базовой конверсии 10% и ожидаемом росте до 12% вам потребуется около 7700 пользователей, чтобы с вероятностью 80% обнаружить этот эффект, если он есть.
Промт 2: Расчёт для нескольких метрик с поправкой на множественные сравнения
Задача: Учесть, что вы тестируете несколько метрик одновременно, и скорректировать уровень значимости.
Промт:
Ты — статистик. Мы планируем A/B-тест с тремя основными метриками: конверсия, средний чек, количество кликов. Мы хотим контролировать общую ошибку первого рода на уровне 0.05. Рассчитай скорректированный уровень значимости для каждой метрики, используя поправку Бонферрони. Затем для каждой метрики рассчитай необходимый размер выборки, если известны базовые значения и ожидаемые эффекты:
- Конверсия: базовая 5%, ожидаемый относительный рост 15%
- Средний чек: базовое среднее 1000 руб., стандартное отклонение 300 руб., ожидаемый рост 10%
- Количество кликов: базовое среднее 2.5, стандартное отклонение 1.5, ожидаемый рост 5%
Для расчёта размера выборки используй формулу для сравнения средних (t-тест) с мощностью 0.8 и двусторонней альтернативой.
Объясни, как поправка влияет на размер выборки.
Пример результата:
LLM рассчитает скорректированный alpha = 0.05/3 ≈ 0.0167. Затем для каждой метрики пересчитает размер выборки с новым alpha. Например, для конверсии при alpha=0.0167 Z_alpha/2 ≈ 2.39, что увеличит требуемый размер выборки примерно в 1.5 раза по сравнению с alpha=0.05. Вывод: тестирование нескольких метрик требует значительно больше данных.
Промты для проверки гипотез и интерпретации результатов
Промт 3: Проверка p-value и доверительного интервала
Задача: Интерпретировать результаты теста, не поддаваясь искушению объявить победу при p-value чуть ниже 0.05.
Промт:
Ты — статистик. По результатам A/B-теста получены следующие данные:
- Контрольная группа: 5000 пользователей, 500 конверсий (10%)
- Тестовая группа: 5000 пользователей, 540 конверсий (10.8%)
Рассчитай:
1. p-value для двустороннего теста пропорций (используй z-тест).
2. 95% доверительный интервал для разницы конверсий (абсолютной и относительной).
3. Сделай вывод: можно ли отвергнуть нулевую гипотезу на уровне значимости 0.05? Опиши, что означает p-value в данном контексте и почему нельзя говорить о вероятности того, что тестовая группа лучше.
Покажи формулы и промежуточные вычисления.
Пример результата:
LLM вычислит z-статистику: разница = 0.008, стандартная ошибка = sqrt(0.10.9/5000 + 0.1080.892/5000) ≈ 0.0059, z = 1.36, p-value ≈ 0.17. Доверительный интервал для абсолютной разницы: 0.008 ± 1.96*0.0059 = (-0.0036, 0.0196). Вывод: p-value > 0.05, нулевую гипотезу отвергнуть нельзя. Разница не статистически значима. Доверительный интервал включает ноль, что подтверждает отсутствие значимости.
Промт 4: Обнаружение ошибок в дизайне эксперимента
Задача: Проверить план A/B-теста на типичные ошибки: недостаточная мощность, подглядывание, множественные сравнения, неправильная единица рандомизации.
Промт:
Ты — эксперт по экспериментальному дизайну. Проверь план A/B-теста на наличие статистических ошибок. Вот план:
- Цель: увеличить конверсию в покупку на странице товара.
- Метрики: конверсия, средний чек, время на странице.
- Планируемый размер выборки: по 2000 пользователей на группу.
- Длительность: 7 дней.
- Правило остановки: остановить тест, если p-value < 0.05 в любой момент.
- Сегментация: будем смотреть результаты по полу, возрасту и типу устройства.
Найди все ошибки и предложи исправления. Объясни, почему каждая ошибка опасна.
Пример результата:
LLM укажет:
1. Подглядывание и остановка при p<0.05 увеличивает ошибку первого рода (до 30% и более). Нужно фиксировать длительность и анализировать только в конце.
2. Размер выборки 2000 на группу может быть недостаточен для обнаружения реалистичного эффекта — нужно рассчитать мощность.
3. Множественные сравнения (3 метрики + сегменты) без поправки ведут к ложным срабатываниям. Нужна поправка Бонферрони или выбор одной основной метрики.
4. Время на странице — прокси-метрика, может искажаться. Лучше сфокусироваться на бизнес-метриках.
Продвинутые промты: байесовский подход и последовательный анализ
Промт 5: Байесовский A/B-тест
Задача: Оценить вероятность того, что тестовая группа лучше контрольной, с учётом априорных данных.
Промт:
Ты — байесовский статистик. У нас есть A/B-тест с бинарной метрикой (конверсия).
Данные: контроль — 400 конверсий из 4000, тест — 440 из 4000.
Априорное распределение: Beta(1,1) (равномерное).
Рассчитай апостериорные распределения для каждой группы. Найди вероятность того, что конверсия в тестовой группе выше, чем в контрольной. Оцени ожидаемый прирост и 95% доверительный интервал для разницы. Сравни с частотным подходом.
Пример результата:
LLM построит апостериорные Beta-распределения: контроль Beta(401, 3601), тест Beta(441, 3561). Затем смоделирует разницу (можно аналитически или через симуляцию). Вероятность превосходства теста ≈ 0.92. Ожидаемый прирост ≈ 1% (относительный 10%). Доверительный интервал для разницы: от -0.1% до 2.1%. Вывод: байесовский подход даёт более интуитивную интерпретацию, но требует задания априорного распределения.
Кейс: как пропущенный расчёт размера выборки привёл к ложной победе
Представим интернет-магазин с конверсией 5%. Маркетолог решил протестировать новый баннер. Через 3 дня после запуска p-value = 0.04, конверсия выросла с 5% до 6%. Тест остановили, баннер внедрили. Через месяц конверсия вернулась к 5%, а новый баннер оказался не лучше старого. Что пошло не так? Размер выборки не был рассчитан. При базовой конверсии 5% и желании обнаружить рост до 6% (относительный +20%) с мощностью 80% и alpha=0.05 требуется примерно по 7200 пользователей на группу (расчёт: n = (1.96+0.84)^2 * (0.050.95 + 0.060.94) / (0.01)^2 ≈ 7.84 * (0.0475+0.0564)/0.0001 = 7.84*0.1039/0.0001 ≈ 8146). За 3 дня магазин получил лишь по 2000 пользователей на группу, чего явно недостаточно. Ранняя остановка при p<0.05 — классическая ошибка, ведущая к инфляции ложноположительных результатов. Если бы тест продолжили до расчётного размера, эффект, скорее всего, исчез бы.
Этот кейс показывает, почему важно не только считать p-value, но и проверять, достаточно ли данных. Промты выше помогают избежать таких ошибок.
Выводы и рекомендации
Статистически корректный подход к A/B-тестам требует времени и дисциплины, но он окупается. Используйте промты из этой подборки, чтобы LLM помог вам рассчитать размер выборки, проверить результаты и найти ошибки в дизайне. Помните: лучше потратить день на планирование, чем месяц на исправление последствий ложной победы. Если у вас мало трафика, рассмотрите байесовские методы или последовательный анализ — они позволяют принимать решения раньше, но требуют более сложной интерпретации. И всегда фиксируйте метрики и правило остановки до запуска теста.
Для углублённого изучения статистики и анализа данных обратите внимание на наши курсы по SQL Mastery (оконные функции, индексы): как достичь уровня эксперта и не наступить на грабли оптимизации и визуализации данных.