Statistische Signifikanz und Fehlermargen im Performance und Growth Marketing

"Signifikant" sagt etwas über Rauschen, nicht über Geld

Früher oder später meldet dir ein Dashboard, ein Test sei "signifikant" oder eine Variante gewinne "mit 95 % Konfidenz". Das klingt nach einem Urteil. Gemeint ist etwas viel Engeres: eine Aussage darüber, wie überraschend deine Zahlen wären, wenn sich überhaupt nichts geändert hätte. Ob die Änderung echt ist, wie groß sie ist und ob sie sich bezahlt macht, sind drei weitere Fragen, und das Wort "signifikant" beantwortet keine davon.

In diesem Artikel geht es darum, diese Wörter richtig zu lesen. Was ein p Wert ist und was nicht, wie breit die Fehlermarge einer Conversion Rate wirklich ist, warum ein Lift den Test bestehen und dich trotzdem Geld kosten kann, wie Zwischenblicke und Aufschlüsselungen den Test still kaputt machen, und was eine Werbeplattform meint, wenn sie eine Konfidenzzahl neben deine Kampagne schreibt.

Zwei andere Artikel legen das Fundament, auf dem ich hier aufbaue. Wie viele Besucher ein Test braucht und wie du ihn planst, steht in Statistische Tests: Stichprobengröße, Lift und vollfaktorielle Designs. Ob dein Traffic und dein Budget überhaupt für einen Test reichen, steht in wie viele Daten brauchst du wirklich. Beides wiederhole ich nicht. Dieser Artikel setzt dort an, wo die Ergebnisse hereinkommen.

Durchgehend nutze ich einen erfundenen Shop: Kerzenhaus Ottensen, eine kleine Kerzenmanufaktur in Hamburg mit Onlineshop unter kerzenhausottensen.example, geführt von Jana. Niemand davon ist echt. Jede Zahl unten ist ausgedacht, damit ich jeden Schritt zeigen kann.

Ein p Wert misst Überraschung, unter der Annahme, dass sich nichts geändert hat

Jeder Test beginnt mit einer absichtlich langweiligen Annahme, der Nullhypothese: Die neue Version macht keinen Unterschied. Der p Wert stellt dann genau eine Frage. Wenn diese langweilige Annahme stimmen würde, wie oft würde der Zufall allein einen Abstand erzeugen, der mindestens so groß ist wie der, den du gesehen hast?

Ein kleiner p Wert heißt: "In einer Welt, in der sich nichts geändert hat, wäre das ein ungewöhnliches Ergebnis." Mehr nicht. Er misst, wie schlecht die Daten zur langweiligen Annahme passen, und nicht direkt irgendetwas, das dich interessiert.

Für zwei Conversion Rates ist das Standardwerkzeug der z Test für zwei Anteile:

$$z = \frac{\hat{p}_B - \hat{p}_A}{\sqrt{\hat{p}\,(1-\hat{p})\left(\frac{1}{n_A} + \frac{1}{n_B}\right)}}$$

Dabei sind $\hat{p}_A$ und $\hat{p}_B$ die gemessenen Conversion Rates der alten und der neuen Seite, $n_A$ und $n_B$ die Besucher, die jede Version gesehen hat, und $\hat{p}$ die gepoolte Rate, also alle Bestellungen geteilt durch alle Besucher. Das ist die beste Schätzung der gemeinsamen Rate, falls die Nullhypothese stimmt. Das Ergebnis $z$ zählt, wie viele Standardfehler die beiden Raten auseinanderliegen, und der p Wert ist der Teil der Normalverteilung, der auf beiden Seiten mindestens so weit draußen liegt. Von Grund auf aufgebaut ist der Test in Grundlagen: Hypothesentests.

Rechenbeispiel: Janas neue Produktseite

Jana testet eine neue Produktseite mit größeren Fotos von brennenden Kerzen. Jede Version sieht 20.000 Besucher. Die alte Seite bringt 600 Bestellungen, die neue 690.

Schritt eins, die beiden Raten:

$$\hat{p}_A = \frac{600}{20.000} = 0{,}0300, \qquad \hat{p}_B = \frac{690}{20.000} = 0{,}0345$$

Dabei ist $\hat{p}_A$ die Rate der alten Seite und $\hat{p}_B$ die der neuen, jeweils Bestellungen geteilt durch Besucher. Also 3,00 % gegen 3,45 %, ein Abstand von 0,45 Prozentpunkten und damit ein relativer Lift von 15 %.

Schritt zwei, die gepoolte Rate:

$$\hat{p} = \frac{600 + 690}{40.000} = \frac{1.290}{40.000} = 0{,}03225$$

Die gepoolte Rate $\hat{p}$ ist jede Bestellung aus beiden Versionen über jeden Besucher, gut 3,2 %.

Schritt drei, der Standardfehler unter der Nullhypothese:

$$\sqrt{0{,}03225 \times 0{,}96775 \times \left(\frac{1}{20.000} + \frac{1}{20.000}\right)} = \sqrt{0{,}031210 \times 0{,}0001} = 0{,}0017667$$

Die $0{,}0001$ ist $\frac{1}{20.000} + \frac{1}{20.000}$, und das Ergebnis ist der Standardfehler des Abstands, wenn die beiden Seiten in Wahrheit gleich wären.

Schritt vier, der z Wert:

$$z = \frac{0{,}0345 - 0{,}0300}{0{,}0017667} = \frac{0{,}0045}{0{,}0017667} = 2{,}55$$

Der Abstand von $0{,}0045$ ist $2{,}55$ Standardfehler breit.

Schritt fünf, der p Wert. Ein z von 2,55 lässt auf jeder Seite etwa 0,54 % der Normalverteilung jenseits von sich, der zweiseitige p Wert liegt also bei etwa $0{,}011$. Wenn die neue Seite in Wahrheit keinen Unterschied machte, käme ein so großer Abstand ungefähr in einem von 90 Tests vor.

Das ist ein wirklich nützlicher Satz. Achte darauf, was er nicht sagt. Er sagt nicht, dass die neue Seite mit 98,9 % Wahrscheinlichkeit besser ist, und er sagt nicht, dass der Lift 15 % beträgt. Das sind die zwei Lesarten, zu denen fast alle greifen, und beide sind falsch.

Was ein p Wert nicht ist, in den Worten der Statistiker selbst

2016 hat die American Statistical Association etwas getan, das sie vorher nie getan hatte: Sie hat in ihrer Zeitschrift The American Statistician eine formelle Stellungnahme dazu veröffentlicht, wie p Werte missbraucht werden, mit sechs Grundsätzen.¹ Sie ist kurz und es lohnt sich, sie ganz zu lesen. In meinen eigenen Worten sagen die sechs:

1. Ein p Wert zeigt, wie schlecht die Daten zu einem bestimmten Modell passen, meist zum Modell "nichts hat sich geändert".
2. Er ist nicht die Wahrscheinlichkeit, dass deine Hypothese stimmt, und nicht die Wahrscheinlichkeit, dass das Ergebnis allein durch Zufall entstand.
3. Geschäftliche Entscheidungen sollten nicht nur davon abhängen, ob ein p Wert eine Schwelle unterschreitet.
4. Ehrliche Schlüsse brauchen vollständige Berichte: jeden Test, den du gemacht hast, nicht nur die, die gut ausgegangen sind.
5. Ein p Wert misst weder die Größe eines Effekts noch, wie wichtig er ist.
6. Für sich allein ist ein p Wert kein gutes Maß für die Belege für oder gegen eine Hypothese.

Grundsatz zwei ist der, an dem die meisten Marketingberichte scheitern. Die ASA schreibt es klar: p Werte "do not measure the probability that the studied hypothesis is true", sie messen also nicht die Wahrscheinlichkeit, dass die untersuchte Hypothese stimmt.¹ Sieben Statistiker um Sander Greenland haben im selben Jahr 25 verbreitete Fehldeutungen gesammelt, und die erste auf ihrer Liste ist genau diese: den p Wert als Wahrscheinlichkeit zu lesen, dass die Nullhypothese stimmt.² Der p Wert wird unter der Annahme berechnet, dass die Nullhypothese stimmt. Er kann dir also nicht gleichzeitig sagen, wie wahrscheinlich sie ist.

Die alte Fassung dieses Artikels behauptete, ein p Wert unter 0,05 bedeute eine Chance von 95 %, dass das Ergebnis nicht zufällig ist. Das habe ich geschrieben, und es ist genau aus diesem Grund falsch. Hier habe ich es korrigiert.

Rechenbeispiel: wie oft ist ein "signifikantes" Ergebnis echt?

Um von einem p Wert zu "wie wahrscheinlich ist das echt" zu kommen, brauchst du etwas, das der Test nie sieht: wie oft deine Ideen überhaupt funktionieren. Das ist bedingte Wahrscheinlichkeit, erklärt in Grundlagen: Wahrscheinlichkeit.

Sagen wir, Jana macht über ein paar Jahre 100 Tests. Nehmen wir zur Veranschaulichung an, dass nur etwa 10 der getesteten Ideen die Conversion wirklich bewegen. Der echte Anteil ist unbekannt und von Shop zu Shop verschieden, und genau darum geht es. Ihre Tests sind mit 80 % Power geplant, sie finden also 80 % der echten Effekte, und mit einem Signifikanzniveau von 5 %, also werden 5 % der wirkungslosen Ideen durch Glück signifikant.

• Gefundene echte Effekte: $10 \times 0{,}80 = 8$ signifikante Ergebnisse.
• Durchgerutschte Nieten: $90 \times 0{,}05 = 4{,}5$ signifikante Ergebnisse.
• Alle signifikanten Ergebnisse: $8 + 4{,}5 = 12{,}5$.

$$P(\text{echt} \mid \text{signifikant}) = \frac{8}{12{,}5} = 0{,}64$$

Dabei bedeutet $P(\text{echt} \mid \text{signifikant})$ die Wahrscheinlichkeit, dass ein Effekt echt ist, gegeben dass der Test signifikant ausgefallen ist. Mit diesen Annahmen sind das 64 %, nicht 95 %. Ungefähr jedes dritte signifikante Ergebnis ist eine Niete mit Siegerschärpe. Wären ihre Ideen besser, sagen wir 30 von 100 echt, stiege der Anteil, und wären sie schlechter, fiele er. Der p Wert allein sagt dir nicht, in welcher dieser Welten du lebst.

Die Fehlermarge einer Conversion Rate ist breiter, als sie aussieht

Eine Conversion Rate, gemessen an einer Stichprobe von Besuchern, ist eine Schätzung. Liefe dieselbe Woche noch einmal mit anderen Besuchern, käme eine etwas andere Zahl heraus. Die Fehlermarge sagt, wie weit die Schätzung vernünftigerweise von der wahren Rate entfernt liegen kann. OpenStax nennt sie die Fehlergrenze für einen Anteil (error bound for a proportion).³

$$E = z_{\alpha/2}\sqrt{\frac{\hat{p}\,(1-\hat{p})}{n}}$$

Dabei ist $E$ die Fehlermarge, $z_{\alpha/2}$ die Zahl der Standardfehler, die du nach beiden Seiten gehst (1,96 für 95 % Konfidenz), $\hat{p}$ die gemessene Conversion Rate und $n$ die Zahl der Besucher, an denen sie gemessen wurde. Der Teil unter der Wurzel ist der Standardfehler eines Anteils, aus Grundlagen: Stichproben, und die Schätzung plus oder minus $E$ ist das Konfidenzintervall aus Grundlagen: Konfidenzintervalle.

Rechenbeispiel: dieselben 3 % in zwei sehr verschiedenen Wochen

Janas alte Seite konvertiert mit 3,00 % bei 20.000 Besuchern:

$$E = 1{,}96 \times \sqrt{\frac{0{,}03 \times 0{,}97}{20.000}} = 1{,}96 \times 0{,}001206 = 0{,}00236$$

Mit $\hat{p} = 0{,}03$ und $n = 20.000$ ist die Marge $E$ gleich 0,24 Prozentpunkte. Die wahre Rate liegt also irgendwo zwischen etwa 2,76 % und 3,24 %. Ordentlich.

Jetzt eine ruhige Woche im Februar: 2.000 Besucher, 60 Bestellungen, ebenfalls 3,00 %:

$$E = 1{,}96 \times \sqrt{\frac{0{,}03 \times 0{,}97}{2.000}} = 1{,}96 \times 0{,}003815 = 0{,}00748$$

Mit $n = 2.000$ ist die Marge $E$ gleich 0,75 Prozentpunkte. Die ehrliche Aussage lautet jetzt "irgendwo zwischen 2,25 % und 3,75 %". Dieselbe Schlagzeile, ein Intervall, das mehr als dreimal so breit ist. Die Februarzahl kann einen Shop mit 2,5 % nicht von einem mit 3,5 % unterscheiden, und das ist für Jana der Unterschied zwischen einem beunruhigenden Monat und einem guten.

Unten entlang steht die Zahl der Besucher, an denen die Rate gemessen wurde, an der Seite die Fehlermarge bei 95 % Konfidenz in Prozentpunkten, nach beiden Seiten einer Rate von 3 %. Entscheidend ist die Form: Die Marge schrumpft mit der Wurzel der Stichprobe, viermal so viele Besucher halbieren sie nur. Von 1.000 auf 5.000 Besucher zu gehen bringt viel Sicherheit. Von 20.000 auf 50.000 bringt deutlich weniger.

Was "95 % Konfidenz" tatsächlich verspricht

Das ist die zweite Fehldeutung, die ich aus dem alten Artikel korrigiert habe. Dort stand, 95 % Konfidenz bedeute, dass du 95 von 100 Malen dasselbe Ergebnis bekommst. Das stimmt nicht. Die 95 % beschreiben die Methode, nicht ein einzelnes Intervall. Würdest du dieselbe Messung viele Male wiederholen und jedes Mal ein Intervall bilden, enthielten etwa 95 von 100 dieser Intervalle die wahre Rate.² Dein konkretes Intervall enthält sie entweder oder nicht. Du weißt nur nicht, welcher Fall vorliegt.

In der Praxis lese ich es ganz einfach: Das Intervall ist der Bereich wahrer Raten, den deine Daten nicht ausschließen können. Behandle jeden Wert darin als möglich und plane mit dem unschmeichelhaften Ende.

Lies das Intervall auf den Lift, nicht das Urteil

Dieselbe Logik gilt für den Abstand zwischen zwei Versionen, und das ist die Zahl, die dich bei einem Test eigentlich interessiert. Mein Schwesterartikel leitet die Formel für das Intervall auf die Differenz her, hier wende ich sie nur auf Janas Test an.

Rechenbeispiel: wie groß Janas Lift ehrlich ist

Der Standardfehler der Differenz, diesmal ohne Pooling, weil es jetzt darum geht, den Abstand zu schätzen, und nicht darum, gegen null zu testen:

$$\sqrt{\frac{0{,}0300 \times 0{,}9700}{20.000} + \frac{0{,}0345 \times 0{,}9655}{20.000}} = \sqrt{0{,}000001455 + 0{,}000001666} = 0{,}0017666$$

Die Fehlermarge auf den Abstand ist $1{,}96 \times 0{,}0017666 = 0{,}00346$, der Abstand liegt also bei 0,45 Punkten plus oder minus 0,35 Punkten, das heißt zwischen 0,10 und 0,80 Punkten.

Relativ gerechnet, geteilt durch die alte Rate von 3,00 %, liegt der Lift irgendwo zwischen 3 % und 27 %. Die Schlagzeile "plus 15 %" sitzt in der Mitte eines Bereichs, der von kaum der Rede wert bis hervorragend reicht. Dieser Bereich ist das, was Jana tatsächlich weiß. Plant sie ihre Weihnachtsware mit 15 %, plant sie mit der Mitte einer breiten Schätzung. Plant sie mit 3 %, wird sie nicht überrascht.

Signifikant und trotzdem nicht lohnend

Grundsatz fünf der ASA Stellungnahme ist der, der echtes Geld kostet: Ein p Wert misst weder die Größe eines Effekts noch, wie wichtig er ist.¹ Greenland und seine Kollegen führen den gegenteiligen Glauben, Signifikanz bedeute, dass ein wichtiger Effekt gefunden wurde, als eigene Fehldeutung, und sie weisen darauf hin, dass winzige Effekte in großen Stichproben leicht signifikant werden.²

Viel Traffic macht das schlimmer, nicht besser. Mit genug Besuchern ist fast jede Änderung signifikant. Die Frage verschiebt sich dann von "ist es echt" zu "ist es das wert, was es kostet".

Rechenbeispiel: ein Personalisierungstool in Köln

Nimm einen zweiten erfundenen Shop, Ehrenfeld Running, einen Laden für Laufbekleidung in Köln unter ehrenfeldrunning.example. Er testet ein Tool für Produktempfehlungen, das 2.500 € im Monat kostet. Jede Version sieht 500.000 Besucher. Die alte Seite konvertiert mit 2,00 %, die Version mit dem Tool mit 2,06 %.

Der Test, Schritt für Schritt. Die gepoolte Rate ist 2,03 %. Der Standardfehler unter der Nullhypothese:

$$\sqrt{0{,}0203 \times 0{,}9797 \times \frac{2}{500.000}} = \sqrt{0{,}019888 \times 0{,}000004} = 0{,}00028205$$

Dabei ist $0{,}0203$ die gepoolte Rate $\hat{p}$, und $\frac{2}{500.000}$ sind die zwei gleich großen Gruppen zusammengezählt. Der z Wert:

$$z = \frac{0{,}0206 - 0{,}0200}{0{,}00028205} = 2{,}13$$

Ein $z$ von 2,13 ergibt einen zweiseitigen p Wert von etwa $0{,}033$ (der Test aus Grundlagen: Hypothesentests). Signifikant bei 5 %. Der Agenturbericht schreibt sich von selbst. Jetzt zum Geld.

Der Shop hat 250.000 Besucher im Monat, die durchschnittliche Bestellung liegt bei 60 €, die Bruttomarge bei 40 %. Jede zusätzliche Bestellung bringt also $60 \times 0{,}40 = 24\ \text{€}$ Marge. Das Tool trägt sich, wenn es mindestens so viele zusätzliche Bestellungen bringt:

$$\frac{2.500\ \text{€}}{24\ \text{€}} = 104{,}2 \text{ zusätzliche Bestellungen im Monat}$$

Bei 250.000 Besuchern ist das ein Lift von $104{,}2 / 250.000 = 0{,}042$ Prozentpunkten. Nennen wir das die Gewinnschwelle.

Das Intervall auf den Abstand ist $0{,}06 \pm 1{,}96 \times 0{,}00028205$, also 0,06 plus oder minus $0{,}055$ Punkte, grob $0{,}005$ bis $0{,}115$ Punkte. In Geld pro Monat umgerechnet:

• Unteres Ende: $0{,}00005 \times 250.000 = 12$ Bestellungen, $12 \times 24\ \text{€} = 288\ \text{€}$, ein Verlust von etwa 2.200 € gegenüber der Gebühr.
• Punktschätzung: $0{,}0006 \times 250.000 = 150$ Bestellungen, $150 \times 24\ \text{€} = 3.600\ \text{€}$, ein Gewinn von 1.100 €.
• Oberes Ende: $0{,}00115 \times 250.000 = 288$ Bestellungen, $288 \times 24\ \text{€} = 6.912\ \text{€}$, ein Gewinn von etwa 4.400 €.

Der Test ist signifikant gegen null, und null ist die falsche Linie. Die Linie, die zählt, liegt bei $0{,}042$ Punkten, und das Intervall reicht über sie hinweg auf beide Seiten. Die ehrliche Zusammenfassung lautet: "wahrscheinlich profitabel, gut möglich, dass nicht, und das kann ich noch nicht sagen". Ob das Tool bleibt, ist jetzt eine geschäftliche Entscheidung darüber, wie viel Risiko Ehrenfeld Running tragen will, eine Frage des Erwartungswerts und keine statistische. Was es nicht ist: eine ausgemachte Sache, nur weil eine Zelle grün geworden ist.

Meine Gewohnheit: Ich ziehe die Gewinnschwelle, bevor der Test beginnt, und vergleiche das Intervall mit dieser Linie, nicht mit null. Das verändert das Gespräch mehr als jede Formel.

Zwischendurch nachschauen macht aus einem Test zwanzig

Ein p Wert ist für einen einzigen Blick berechnet, bei einer vorher festgelegten Stichprobengröße. Schaust du jeden Tag nach und hörst beim ersten Mal auf, wenn er unter 0,05 fällt, läuft kein 5 % Test mehr. Ramesh Johari und seine Kollegen schreiben über A/B Testplattformen ganz direkt, dass die üblichen p Werte und Intervalle unzuverlässig sind, wenn Nutzer den Zeitpunkt zum Aufhören wählen, indem sie ihre Tests laufend beobachten.⁴ Evan Millers bekannter Essay zur selben Falle rechnet einen Fall durch, in dem ein "5 %" Test durch wiederholtes Nachschauen bei einer Rate falscher Treffer von 26,1 % landet.⁵

Mein Schwesterartikel zeigt den Simulationscode, den wiederhole ich nicht. Für diesen Artikel habe ich eine eigene Version laufen lassen, damit die Zahlen zu Janas Shop passen.

Rechenbeispiel: Jana beobachtet das Dashboard

Jana macht einen A/A Test: Beide Versionen sind dieselbe Seite, beide konvertieren in Wahrheit mit 3 %, und jede sieht 20 Tage lang 1.000 Besucher am Tag. Jeder "Gewinner" ist per Konstruktion ein falscher Treffer. Ich habe 4.000 solcher Tests simuliert und gezählt, wie oft mindestens ein Blick einen signifikanten Abstand bei 5 % gezeigt hat, je nachdem, wie oft sie nachgeschaut hat.

Unten entlang steht, wie oft das Ergebnis in den 20 Tagen angeschaut wurde, gleichmäßig verteilt. An der Seite steht der Anteil der 4.000 identischen Tests, der mindestens einmal einen "signifikanten" Gewinner gezeigt hat. Ein Blick am Ende ergibt ungefähr die versprochenen 5 % (die 6 % sind Rauschen der Simulation). Ein täglicher Blick ergibt etwa 25 %, also kürt jeder vierte Test einen Gewinner zwischen zwei identischen Seiten. Das sind die Zahlen meiner Simulation, kein Naturgesetz, aber sie passen zu dem, was Miller und Johari beschreiben.

Es gibt zwei Heilmittel. Lege die Stichprobengröße vor dem Test fest, mit der Methode aus Grundlagen: Stichprobengröße, und lies das Ergebnis einmal, am Ende. Oder nimm ein Werkzeug, das für sequenzielles Testen gebaut ist und den erlaubten Fehler absichtlich auf die Blicke verteilt. Ein Dashboard, das jeden Morgen einen gewöhnlichen p Wert neu berechnet, ist keins von beiden.

Zerlege das Ergebnis zehnmal, und irgendetwas sieht signifikant aus

Nachschauen wiederholt einen Test über die Zeit. Mehrfachvergleiche wiederholen ihn im selben Moment über Varianten, Kennzahlen oder Segmente, und die Rechnung ist dieselbe. Jeder zusätzliche Test ist eine weitere Chance von 5 % auf einen Fehlalarm.

$$\text{FWER} = 1 - (1 - \alpha)^m$$

Dabei ist $\text{FWER}$ die familienweise Fehlerrate (family wise error rate), die Wahrscheinlichkeit für mindestens einen falschen Treffer über alle Tests zusammen, $\alpha$ das Signifikanzniveau jedes einzelnen Tests und $m$ die Zahl der Tests. Das folgt aus der Multiplikationsregel für unabhängige Ereignisse in Grundlagen: Wahrscheinlichkeit und setzt voraus, dass die Tests unabhängig sind, was Segmente eines einzigen Tests nur ungefähr sind.

Die einfachste Reparatur ist die Bonferroni Methode: Teile das Signifikanzniveau durch die Zahl der Vergleiche, dann bleibt die Fehlerrate über alle zusammen höchstens beim ursprünglichen Niveau.⁶ Sie ist grob und kostet Power. Deshalb ist die bessere Gewohnheit, vor dem Test die eine Hauptkennzahl zu benennen und alles andere als Spur zu behandeln, der du nachgehst, nicht als Ergebnis.

Rechenbeispiel: die mobilen Besucher aus Leipzig

Janas neue Seite zeigt beim nächsten Test insgesamt keinen Lift. Enttäuscht schlüsselt sie das Ergebnis auf: Smartphone und Desktop, neue und wiederkehrende Kunden, und sechs Regionen. Das sind zehn Teile. Einer leuchtet: "Besucher aus Leipzig am Smartphone, plus 40 %, p = 0,03".

Bei zehn Teilen und ohne echten Effekt ist die Chance, dass mindestens einer $p < 0{,}05$ zeigt:

$$1 - (1 - 0{,}05)^{10} = 1 - 0{,}95^{10} = 1 - 0{,}599 = 0{,}40$$

Dabei ist $0{,}05$ das $\alpha$ und $10$ das $m$. Eine Chance von 40 % auf einen leuchtenden Teil aus reinem Rauschen. Bonferroni legt die Latte für jeden Teil hier an:

$$\frac{0{,}05}{10} = 0{,}005$$

Das ist $\alpha$ geteilt durch $m$. Das Leipziger Ergebnis mit 0,03 kommt nicht drüber. Es ist ein Grund, einen neuen Test gezielt für mobile Besucher aus Leipzig aufzusetzen, falls diese Gruppe groß genug ist, um zu zählen. Ein Befund ist es nicht. Der vierte Grundsatz der ASA, vollständige Berichte, sagt dasselbe mit anderen Worten: Berichte alle zehn Teile, die du angeschaut hast, nicht nur den, der geleuchtet hat.¹

Die "Konfidenz" einer Plattform ist eine Einstellung, keine Wahrheit

Werbeplattformen führen inzwischen ihre eigenen Experimente durch und schreiben ihre eigenen Urteile darunter, jede mit eigenen Definitionen. Bevor du dem Etikett traust, finde drei Dinge heraus: mit welchem Konfidenzniveau es arbeitet, welche Frage die Zahl beantwortet und ob es für wiederholte Blicke gebaut ist.

Google Ads ist ein gutes Lernbeispiel, weil die Hilfeseite offen sagt, wie es funktioniert. Die Testergebnisse zeigen eine Spanne für den Unterschied zwischen Test und ursprünglicher Kampagne, ein blaues Sternchen markiert ein statistisch signifikantes Ergebnis, und du kannst dein eigenes Konfidenzniveau wählen, mit 80 % als Standard.⁷ Achtzig, nicht 95. Bei 80 % verfehlt jedes fünfte Intervall die Wahrheit, und zwar planmäßig. Für einen schnellen Blick auf die Richtung ist das eine vertretbare Wahl, für eine Entscheidung über ein großes Budget eine schlechte.

Meta veröffentlicht eine eigene Hilfeseite zur Konfidenz in seinen Tests und Experimenten.⁸ Andere Werkzeuge melden eine "Gewinnchance" oder eine "Wahrscheinlichkeit, das Original zu schlagen". Die stammt aus einer anderen Schule der Statistik (der bayesschen) und beantwortet eine andere Frage als ein p Wert. Nichts davon ist falsch. Es ist nur nicht austauschbar, und 70 % auf der einen Plattform bedeuten nicht, was 70 % auf einer anderen bedeuten. Lies die Definition der Plattform, bevor du vergleichst.

Rechenbeispiel: Janas Gebotstest in Google Ads

Jana testet in ihrer Google Ads Kampagne eine neue Gebotsstrategie. Der Testbericht zeigt 8 % mehr Conversions, mit einer Spanne von minus 2 % bis plus 18 % beim Standard von 80 % Konfidenz, und kein blaues Sternchen.

Um dasselbe Ergebnis bei 95 % zu sehen, verbreiterst du die Spanne um das Verhältnis der beiden z Werte. Das 80 % Intervall nutzt $z = 1{,}28$, das 95 % Intervall $z = 1{,}96$:

$$\frac{1{,}96}{1{,}28} = 1{,}53$$

Das Verhältnis $1{,}53$ sagt, um wie viel breiter ein 95 % Intervall ist als ein 80 % Intervall. Die 80 % Spanne reicht 10 Punkte nach beiden Seiten von 8 %. Mal 1,53 werden daraus etwa 15,3 Punkte, bei 95 % reicht die Spanne also von etwa minus 7 % bis plus 23 %. Das setzt voraus, dass das Intervall ungefähr symmetrisch und normalverteilt ist, was bei einer Stichprobe dieser Größe eine faire Näherung ist.

Schon beim Standard der Plattform ist das Ergebnis also offen, weil die Spanne die Null enthält. Bei 95 % ist es sehr offen: Die neue Strategie könnte Jana 7 % ihrer Conversions kosten oder ihr 23 % bringen. Die richtige Lesart ist "noch nicht genug Daten". Die falsche ist "plus 8 %, ausrollen".

Wie ich jeden Testbericht lese

All das fasse ich in eine Routine zusammen, die ich bei jedem Ergebnis durchgehe, bei meinem eigenen und bei jedem anderen, bevor ein einziger Euro bewegt wird.

Die Routine läuft von oben nach unten. Die ersten zwei Fragen prüfen, ob der Test so gelaufen ist, dass seine Zahlen überhaupt etwas bedeuten: feste Größe, ein Blick, eine Hauptkennzahl. Die nächsten zwei lesen das Intervall, zuerst gegen null und dann gegen die Linie, die die Rechnungen bezahlt. Nur ein Ergebnis, dessen ganzes Intervall über der Gewinnschwelle liegt, geht ohne Gespräch live, und selbst dann plane ich mit seinem unschmeichelhaften Ende.

Die Fragen, wenn dir jemand einen Gewinner zeigt

Um das zu nutzen, musst du keine der Rechnungen selbst machen. Du musst nur, freundlich, die Fragen stellen, die die Rechnungen beantworten. Wenn eine Agentur, ein Tool oder dein eigenes Team dir einen gewonnenen Test zeigt, frag:

1. Wie groß war die Stichprobe, und war sie vor dem Start festgelegt?
2. Wie oft wurde das Ergebnis angeschaut, und war das Werkzeug dafür gebaut?
3. Welche Kennzahl war vorher gewählt, und wie viele andere wurden angeschaut?
4. Wie sieht das Intervall auf den Lift aus, und bei welchem Konfidenzniveau?
5. Wo liegt die Gewinnschwelle, und liegt das ganze Intervall darüber?

Eine gute Antwort auf alle fünf ist selten, und ihr kannst du trauen. "Es hat 95 % Signifikanz erreicht" beantwortet keine davon. Die Fragen kosten nichts, und sie sind der sicherste Weg, den ich kenne, um das stille Ausrollen von Gewinnern zu stoppen, die es nie gab.

Footnotes

1. American Statistical Association, American Statistical Association releases statement on statistical significance and P values (Zusammenfassung von Ronald L. Wasserstein und Nicole A. Lazar, The ASA's statement on p values: context, process, and purpose, The American Statistician, Band 70, Heft 2), 2016, https://www.amstat.org/asa/files/pdfs/p-valuestatement.pdf

2. Sander Greenland, Stephen J. Senn, Kenneth J. Rothman, John B. Carlin, Charles Poole, Steven N. Goodman und Douglas G. Altman, Statistical tests, P values, confidence intervals, and power: a guide to misinterpretations, European Journal of Epidemiology, Band 31, Seiten 337 bis 350, Springer, 2016, https://pmc.ncbi.nlm.nih.gov/articles/PMC4877414/

3. Barbara Illowsky, Susan Dean und andere, Introductory Statistics 2e, Abschnitt 8.3 A population proportion, OpenStax, 2023, https://openstax.org/books/introductory-statistics-2e/pages/8-3-a-population-proportion

4. Ramesh Johari, Leo Pekelis und David J. Walsh, Always valid inference: bringing sequential analysis to A/B testing, arXiv 1512.04922, 2015 (überarbeitet 2019), https://arxiv.org/abs/1512.04922

5. Evan Miller, How not to run an A/B test, evanmiller.org, 2010, https://www.evanmiller.org/how-not-to-run-an-ab-test.html

6. NIST/SEMATECH, e Handbook of Statistical Methods, Abschnitt 7.4.7.3 Bonferroni's method, National Institute of Standards and Technology, 2012, https://www.itl.nist.gov/div898/handbook/prc/section4/prc473.htm

7. Google, Tests beobachten, Google Ads Hilfe, 2025, https://support.google.com/google-ads/answer/6318747?hl=de

8. Meta, About confidence in your tests and experiments, Meta Business Help Centre, 2025, https://www.facebook.com/business/help/239549606692303