Experiment design doc · Сергей Сухаревский

Документ эксперимента нужен до запуска, когда команда ещё не знает результат и может честно определить критерии. Зафиксируйте причинную гипотезу, целевую группу, основную метрику, ограничения и действие для каждого исхода; после старта не меняйте правила незаметно.

Что такое experiment design doc

Определение и назначение

Experiment design doc — это структурированный документ, где формулируется цель, гипотеза, метрика успеха, детальное описание изменений, аудитория, план запуска и критерии принятия результата. Он помогает снизить риски, согласовать ожидания между командами и избежать типичных ошибок.

Когда нужен experiment design doc

Такой документ нужен при:

запуске A/B-тестов и других product discovery экспериментов
изменениях функций, где результат нельзя предсказать интуитивно
работе в распределенных командах, где важно синхронизировать ожидания

Пример: если делаешь новую онбординг-страницу и хочешь проверить, ведет ли она к росту активации, без чёткого описания теста команда потеряется в интерпретации данных и выборе метрик.

Основные блоки experiment design doc

Классический шаблон

Вот простая, базовая структура, которую используют в компаниях, работающих по принципам evidence-based product management (например, в Booking.com или Amplitude):

Background / Context: краткое описание проблемы или возможности
Hypothesis: формулировка гипотезы в стиле если…то…
Success metrics: как определяется успех (основные и второстепенные метрики)
Experiment design: детали изменений (что изменяется, сравниваемые группы, варианты распределения трафика)
Target audience / segmentation: для кого запускается тест, ограничения
Plan and timeline: шаги запуска и продолжительность эксперимента
Risks/Assumptions: возможные ограничения, риски и важные допущения
Analysis plan: как будет проводиться анализ и какой статистический критерий выбран
Decision rules: какие результаты считаются основанием для внедрения или отката

Пример

Допустим, ты хочешь протестировать новый дизайн кнопки оплаты. В design doc фиксируется:

фоновая проблема (много незавершенных транзакций)
гипотеза (новый цвет кнопки увеличит завершаемость на 5%)
метрики (conversion to payment page как основная, CTR кнопки как дополнительная)
дизайн теста (множественное выделение новых пользователей на 50% трафика)
критическое ограничение (проверяем только на мобильной версии)
план (продолжительность 2 недели при не менее 10000 уникальных пользователей)

Основные ошибки и антипаттерны

Нечеткая формулировка гипотезы

Без четкой гипотезы возникает путаница и споры о результатах. Нельзя просто тестировать кнопку ради теста. Всегда требуется конкретная формула: если сделать X, то Y изменится на Z.

Неуказанные метрики

Если результат эксперимента не привязан к измеряемым значениям, нельзя принять решение. Не забывай явно зафиксировать, что и в каком виде считается успехом.

Недостаточный size или неправильно подобранная аудитория

Малый размер выборки или узкий сегмент делают выводы ненадежными. В практике часто ошибаются на этом этапе и получают нерелевантную статистику.

Нет явных критериев принятия решения

Без описания decision rules начинается спонтанная интерпретация цифр. Решения замедляются, а тест повторяют по несколько раз, теряя время и данные.

Чек-лист для быстрого создания experiment design doc

Перед стартом эксперимента

Задача понятна? В чем цель?
Прописана гипотеза (если…, то…)?
Четко зафиксированы основная и второстепенные метрики?
Описано, что именно изменяется в продукте?
Ясно, на какую аудиторию идет эксперимент?
Выбран статистический критерий для анализа?
Есть план на случай технических сбоев?
Понятны рамки по времени и минимальный объем трафика?
Зафиксированы риски и допущения?

Пример: достаточно использовать текстовый шаблон Google Docs или Confluence с этими пунктами, не уходя в избыточные детали. Так проект движется быстрее и не тонет в бюрократии.

Где смотреть примеры и лучшие практики

Подробная структура и рекомендации: Amplitude: Experiment Design Document Template
Рабочие плейбуки и примеры из e-commerce: Booking.com Experiment Playbook
Про контрольные группы и метрики: Optimizely Experimentation Guide

FAQ

Для чего обязательно нужен design doc?

Чтобы зафиксировать гипотезу, метрику успеха, детали теста и сроки. Это снижает путаницу между членами команды и ускоряет принятие решений после теста.

Чем отличается experiment design doc от просто описания A/B-теста?

Design doc — это не только схема A/B-теста, а целостный документ: с гипотезой, обоснованием, метриками, планом запуска и четкими правилами оценки.

Можно ли делать несколько тестов одновременно без design doc?

Можно, но это увеличит хаос, и повысит риск некорректных выводов. Если команда не знает, что тестируется и зачем, качество решений падает.

Как выбрать метрику для эксперимента?

Метрика должна прямо отражать желаемое поведение пользователя. Главное — не размывать цель и не смешивать метрики с proxy-показателями.

Какие инструменты лучше для ведения experiment design doc?

Чаще используют стандартные Google Docs, Confluence, Notion. Для сложных продуктов есть встроенные шаблоны в Amplitude Experiment, Optimizely, AB Tasty.

Что делать, если результаты эксперимента не определённые?

Вернись к design doc: проверь гипотезу, корректность выборки, достаточность данных. Иногда стоит повторить эксперимент или скорректировать параметры.