Versuchsaufbau Doc

Bevor Sie beginnen, benötigen Sie ein Experimentdokument, wenn das Team das Ergebnis noch nicht kennt und die Kriterien ehrlich definieren kann. Legen Sie die Kausalhypothese, die Zielgruppe, die grundlegende Metrik, die Einschränkungen und die Aktion für jedes Ergebnis fest; nach dem Start ändern Sie die Regeln nicht diskret.

Was ist Experiment Design Doc?

Begriffsbestimmung und Bezeichnung

Experiment Design Doc ist ein strukturiertes Dokument, das ein Ziel, eine Hypothese, eine Erfolgsmetrik, eine detaillierte Beschreibung der Veränderung, eine Zielgruppe, einen Startplan und Kriterien für die Akzeptanz des Ergebnisses formuliert, hilft, Risiken zu reduzieren, Erwartungen zwischen Teams anzugleichen und typische Fehler zu vermeiden.

Wenn Sie Design Doc experimentieren müssen

Ein solches Dokument ist erforderlich, wenn

• A/B-Tests und andere Produktentdeckungsexperimente
• Änderungen in Funktionen, bei denen das Ergebnis nicht intuitiv vorhergesagt werden kann
• Verteilte Teams, bei denen es wichtig ist, die Erwartungen zu synchronisieren

Beispiel: Wenn Sie eine neue Onboarding-Seite erstellen und prüfen möchten, ob dies zu einer Erhöhung der Aktivierung führt, ohne eine klare Beschreibung des Tests, geht das Team bei der Interpretation der Daten und der Auswahl von Metriken verloren.

Die Hauptblöcke des Experiment Design Doc

Klassische Vorlage

Hier ist ein einfaches, grundlegendes Framework, das von evidenzbasierten Produktmanagement-Unternehmen verwendet wird (z. B. Booking.com oder Amplitude:

1. Hintergrund/Kontext: Eine kurze Beschreibung des Problems oder der Gelegenheit
2. Hypothese: Die Hypothese wird im Stil von wenn…
3. Erfolgsmetriken: Wie wird der Erfolg bestimmt (Haupt- und Sekundärmetriken)
4. Experimentdesign: Details der Änderungen (welche Änderungen, Gruppen verglichen, Traffic-Verteilungsoptionen)
5. Zielpublikum/Segmentierung: Wer führt den Test durch, Einschränkungen
6. Plan und Zeitleiste: Startschritte und Dauer des Experiments
7. Risiken/Annahmen: Mögliche Einschränkungen, Risiken und wichtige Annahmen
8. Analyseplan: Wie die Analyse durchgeführt wird und welches statistische Kriterium ausgewählt wird
9. Entscheidungsregeln: Welche Ergebnisse gelten als Gründe für die Umsetzung oder das Rollback

Beispiel

Angenommen, Sie möchten ein neues Design des Zahlungsbuttons testen.

• Hintergrundproblem (viele unfertige Transaktionen)
• Hypothese (eine neue Farbe des Buttons erhöht die Fertigstellung um 5%)
• Metriken (Umstellung auf Zahlungsseite als Haupt-, CTR-Buttons als Zusatz)
• Testdesign (Mehrfachzuweisung neuer Nutzer auf 50% des Traffics)
• Kritische Einschränkung (wir überprüfen nur die mobile Version)
• Plan (dauernd 2 Wochen mit mindestens 10.000 einzigartigen Benutzern)

Hauptfehler und Anti-Patterns

Fuzzy Formulierung der Hypothese

Ohne eine klare Hypothese gibt es Verwirrung und Debatten über die Ergebnisse. Man kann nicht einfach einen Knopf testen, um einen Test zu machen. Man braucht immer eine bestimmte Formel: Wenn man X macht, ändert sich Y in Z.

Nicht spezifizierte Metriken

Wenn das Ergebnis eines Experiments nicht an die gemessenen Werte gebunden ist, können Sie keine Entscheidung treffen und daran denken, klar anzugeben, was als Erfolg angesehen wird und in welcher Form.

Unzureichende Größe oder falsch ausgewählte Zielgruppe

Eine kleine Stichprobengröße oder ein schmales Segment macht die Schlussfolgerungen unzuverlässig, und in der Praxis erhalten sie oft die falschen Ergebnisse in diesem Stadium und erhalten irrelevante Statistiken.

Es gibt keine klaren Kriterien für die Entscheidungsfindung

Ohne eine Definition der Entscheidungsregeln beginnt die spontane Interpretation der Zahlen, Entscheidungen werden verlangsamt und der Test wird mehrmals wiederholt, wodurch Zeit und Daten verschwendet werden.

Checkliste für die schnelle Erstellung von Experiment Design Doc

Vor Beginn des Experiments

1. Ist die Aufgabe klar? Was ist das Ziel?
2. Gibt es eine Hypothese (wenn …, dann …)?
3. Gibt es klare primäre und sekundäre Metriken?
4. Was genau ändert sich im Produkt?
5. Zu welchem Publikum wird das Experiment also gehen?
6. Gibt es ein statistisches Kriterium für die Analyse?
7. Haben Sie einen Plan im Falle eines technischen Ausfalls?
8. Haben Sie ein Minimum an Verkehr und Zeit?
9. Gibt es Risiken und Annahmen?

Zum Beispiel müssen Sie nur eine Google Docs- oder Confluence-Textvorlage mit diesen Elementen verwenden, ohne zu sehr ins Detail zu gehen, damit sich das Projekt schneller bewegt und nicht in Bürokratie ertrinkt.

Wo man sich Beispiele und Best Practices anschaut

• Detaillierte Struktur und Empfehlungen: Amplitude: Experiment Design Document Template
• Arbeitsspielbücher und E-Commerce-Beispiele: Booking.com Experiment Playbook
• Über Kontrollgruppen und Metriken: Optimizely Experimentation Guide

FAQ

Warum brauchen Sie ein Design-Dokument?

Um die Hypothese, die Erfolgsmetrik, die Testdetails und das Timing zu erfassen, reduziert sie die Verwirrung zwischen den Teammitgliedern und beschleunigt die Entscheidungsfindung nach dem Test.

Was ist der Unterschied zwischen einem Experiment Design Doc und einer einfachen Beschreibung eines A / B-Tests?

Design Doc ist nicht nur ein A/B-Testdiagramm, sondern ein vollständiges Dokument: mit Hypothese, Begründung, Metriken, einem Launch-Plan und klaren Regeln für die Bewertung.

Kann ich mehrere Tests gleichzeitig ohne Design-Dokument durchführen?

Es kann, aber es wird das Chaos erhöhen und das Risiko falscher Schlussfolgerungen erhöhen, und wenn das Team nicht weiß, was getestet wird und warum, wird die Qualität der Entscheidungen sinken.

Wie wählt man eine Metrik für ein Experiment aus?

Die Metrik sollte direkt das gewünschte Nutzerverhalten widerspiegeln, die Hauptsache ist, das Ziel nicht zu verwischen und Metriken nicht mit Proxy-Metriken zu mischen.

Was sind die besten Werkzeuge für Experiment Design Doc?

Die häufigsten sind Standard-Google-Dokumente, Confluence, Notion. Für komplexe Produkte gibt es integrierte Vorlagen in Amplitude Experiment, Optimizely, AB Tasty.

Was ist, wenn die Ergebnisse des Experiments nicht sicher sind?

Zurück zum Design-Dokument: Überprüfen Sie die Hypothese, die Probenrichtigkeit, die Angemessenheit der Daten, manchmal lohnt es sich, das Experiment zu wiederholen oder die Parameter anzupassen.