Unsicherheit ehrlich zeigen: Intervalle, Bandbreiten und Fehlerbalken

Kurz gesagt

Niveau: Fortgeschritten

Eine Zahl aus einer Stichprobe, einem Test oder einem Modell ist eine Schätzung, und ein Diagramm, das nur den Punkt zeigt, behauptet mehr Gewissheit, als du hast.

  • Ein Konfidenzintervall handelt vom Durchschnitt, ein Prognoseintervall vom nächsten einzelnen Wert. Sie beantworten verschiedene Fragen.
  • Fehlerbalken können Standardabweichung, Standardfehler oder ein Konfidenzintervall zeigen. Sag immer, welche, auf welchem Niveau, aus wie vielen Beobachtungen.
  • Zeig die Verteilung, wenn ihre Form die Entscheidung ändern könnte.
  • Kleine Stichproben brauchen Wilson Intervalle und einen Funnel Plot statt einer Rangliste.
  • Stell neben jedes "wahrscheinlich" eine Zahl.
  • Zeig einen A/B Test als Unterschied mit Intervall und entscheide anhand seiner Enden.

Deine Conversion Rate, dein durchschnittlicher Bestellwert und dein Testgewinner sind Schätzungen, und das übliche Diagramm verschweigt das. Dieses Kapitel zeigt, wie du Unsicherheit so zeichnest und formulierst, dass die Geschäftsführung sie richtig liest: Intervalle, beschriftete Fehlerbalken, Verteilungen, ehrliche kleine Stichproben und A/B Tests als Bandbreite statt als Abzeichen.

Deine Zahl ist eine Schätzung, und das Diagramm tut so, als wäre sie es nicht

Bergsteig Outdoor ist eine Outdoormarke aus Innsbruck. Sie verkauft online über bergsteigoutdoor.example und in einem eigenen Geschäft in der Altstadt. Jeden Monat schickt Lena, die Analystin, der Inhaberin Theresa einen Bericht für die Geschäftsführung. Im letzten stand: Conversion Rate online 3,1 %, durchschnittliche Bestellung € 68, neue Produktseite "der Gewinner, plus 11,7 %".

Jede dieser Zahlen ist eine Schätzung. Die Conversion Rate stammt aus einem Monat Besuchen, und im nächsten Monat verhalten sich die Leute ein wenig anders. Der Durchschnitt stammt aus 2.500 Bestellungen, nicht aus allen, die der Shop je bekommen wird. Der "Gewinner" stammt aus einem Test über zwei Wochen. Zu jeder Zahl gibt es einen Bereich von Werten, die genauso plausibel wären, und der Bericht zeigt keinen davon.

Darum geht es in diesem Kapitel: Deine Zahl ist eine Schätzung. Wie zeigst du, wie sicher du dir bist, ohne alle zu verwirren? Die Antwort ist ein kleiner Werkzeugkasten: Intervalle, Fehlerbalken, die sagen, was sie zeigen, Verteilungen statt einsamer Durchschnitte, Bänder um Linien, ehrliche kleine Stichproben und Zahlen neben Wörtern wie "wahrscheinlich". Das Kapitel baut auf das richtige Diagramm für die Frage wählen auf. Die Statistik dahinter steht in statistische Signifikanz und Fehlermargen. Hier geht es um das Bild und um die Worte.

Alle Zahlen von Bergsteig Outdoor in diesem Artikel sind für den Unterricht erfunden. Forschungsergebnisse sind in den Fußnoten belegt.

Beispiel: was hinter "3,1 %" steckt

Im letzten Monat haben 21.300 Menschen den Onlineshop besucht, 660 davon haben bestellt. Das ergibt 3,1 %. Könnte Lena denselben Monat mit einer neuen, ähnlichen Besucherschaft noch einmal laufen lassen, käme nicht wieder genau 3,1 % heraus. Vielleicht 2,9 %, vielleicht 3,3 %. Die Zahl wirkt auf eine Nachkommastelle genau. In Wahrheit kennt Lena sie auf etwa einen Viertelprozentpunkt nach oben und unten, und das Diagramm gibt Theresa keine Chance, das zu sehen.

An der Zahl ist nichts falsch. Es fehlt nur die zweite Hälfte des Satzes: "3,1 %, wahrscheinlich irgendwo zwischen 2,9 % und 3,3 %". Der Rest dieses Kapitels handelt davon, wie du diese zweite Hälfte schreibst und zeichnest.

Ein Konfidenzintervall sagt, wie sicher du beim Durchschnitt bist

Ein Konfidenzintervall ist ein Bereich um eine Schätzung, so gebaut, dass das Verfahren den wahren Wert meistens trifft. Ein 95 % Konfidenzintervall stammt aus einem Rezept, das, auf viele Stichproben angewandt, in 95 von 100 Fällen den wahren Wert enthält. Es beschreibt, wie genau eine Kennzahl wie ein Durchschnitt oder eine Rate ist, nicht wie stark einzelne Kundinnen und Kunden voneinander abweichen.

Für einen Durchschnitt lautet das übliche Rezept:

xˉ±z⋅sn\bar{x} \pm z \cdot \frac{s}{\sqrt{n}}

Dabei ist xˉ\bar{x} der Durchschnitt der Stichprobe, ss die Standardabweichung der einzelnen Werte (wie weit ein typischer Wert vom Durchschnitt entfernt liegt), nn die Zahl der Werte, sn\frac{s}{\sqrt{n}} der Standardfehler (wie stark der Durchschnitt selbst von Stichprobe zu Stichprobe schwanken würde) und zz der Faktor für das Konfidenzniveau, z=1,96z = 1{,}96 für 95 %. Der Abschnitt Grundlagen: Konfidenzintervalle baut das von Grund auf auf, und Grundlagen: Streuung erklärt die Standardabweichung.

Achte auf das n\sqrt{n}. Viermal so viele Daten halbieren die Breite des Intervalls nur. Deshalb wird Genauigkeit schnell teuer.

Beispiel: die durchschnittliche Onlinebestellung

Im Oktober hatte Bergsteig Outdoor 2.500 Onlinebestellungen. Der Durchschnitt lag bei € 68, die Standardabweichung bei € 52. Lena rechnet das Intervall Schritt für Schritt.

Schritt 1, der Standardfehler:

522500=5250=1,04\frac{52}{\sqrt{2500}} = \frac{52}{50} = 1{,}04

Hier ist s=52s = 52 und n=2500n = 2500.

Schritt 2, die Marge für 95 %:

1,96×1,04=2,041{,}96 \times 1{,}04 = 2{,}04

Hier ist z=1,96z = 1{,}96 und der Standardfehler 1,041{,}04.

Schritt 3, das Intervall: € 68 minus € 2,04 sind € 65,96, € 68 plus € 2,04 sind € 70,04.

Der ehrliche Satz lautet also: "Die durchschnittliche Onlinebestellung lag im Oktober bei € 68 (95 % Konfidenzintervall € 66 bis € 70)." Bei 2.500 Bestellungen ist der Durchschnitt ziemlich genau bekannt. Eine gute Nachricht, und sichtbar wird sie erst, weil Lena sie ausgerechnet hat.

Ein Prognoseintervall sagt, wo der nächste einzelne Wert landet

Hier liegt die häufigste Verwechslung des ganzen Themas. Ein Konfidenzintervall handelt vom Durchschnitt. Es sagt dir nicht, was die nächste Kundin ausgibt. Dafür brauchst du ein Prognoseintervall (auch Vorhersageintervall): einen Bereich, der einen einzelnen neuen Wert mit einer angegebenen Wahrscheinlichkeit enthalten soll.

Ein Prognoseintervall ist immer viel breiter, weil eine einzelne Person viel stärker schwankt als der Durchschnitt von 2.500. Für Daten, die der glockenförmigen Normalverteilung folgen, lautet die Lehrbuchform:

xˉ±z⋅s1+1n\bar{x} \pm z \cdot s\sqrt{1 + \frac{1}{n}}

Dabei bedeuten xˉ\bar{x}, ss, nn und zz dasselbe wie oben. Die 11 unter der Wurzel steht für die Streuung des neuen Einzelwerts, 1n\frac{1}{n} für die restliche Unsicherheit über den Durchschnitt selbst. Bei großem nn verschwindet der zweite Teil fast, und das Intervall ist ungefähr xˉ±z⋅s\bar{x} \pm z \cdot s. Was "normal" hier heißt, steht unter Grundlagen: Verteilungen.

Prognosen funktionieren genauso. Das Standardlehrbuch zum Forecasting hält eine Punktprognose ohne Prognoseintervall für wenig wert, weil niemand erkennen kann, wie genau sie ist1.

Beispiel: die nächste Onlinebestellung

Lena setzt die Oktoberzahlen in die Formel ein:

1,96×52×1+12500=101,941{,}96 \times 52 \times \sqrt{1 + \frac{1}{2500}} = 101{,}94

Hier ist z=1,96z = 1{,}96, s=52s = 52 und n=2500n = 2500. Das normale Prognoseintervall reicht also von € 68 minus € 101,94 bis € 68 plus € 101,94: von minus € 34 bis € 170. Einen negativen Bestellwert gibt es nicht, und genau das verrät Lena etwas Wichtiges. Bestellwerte sind nicht glockenförmig verteilt. Links liegen viele kleine Bestellungen (Socken, Gaskartuschen), rechts zieht sich ein langer Schwanz aus Zelten und Daunenjacken. Bei so schiefen Daten kommt das ehrliche Prognoseintervall direkt aus den Daten: Lena sortiert alle 2.500 Bestellungen und liest das 5. und das 95. Perzentil ab, also die Werte, unter denen 5 % und 95 % der Bestellungen liegen. Sie betragen € 7 und € 235.

Jetzt vergleich die beiden Sätze:

  • Konfidenzintervall: "Die durchschnittliche Bestellung liegt zwischen € 66 und € 70."
  • Prognoseintervall: "Neun von zehn Bestellungen liegen zwischen € 7 und € 235."

Beide stimmen. Sie beantworten verschiedene Fragen. Plant Theresa das Lagerbudget, passt der erste Satz. Legt sie eine Grenze für kostenlosen Versand fest, zählt der zweite. Ein Diagramm, das nur "€ 68" zeigt, beantwortet keine von beiden.

Fehlerbalken können drei verschiedene Dinge bedeuten

Fehlerbalken sind die kleinen Antennen über und unter einem Punkt oder Balken. Sie sehen nach Standard aus, sind aber keiner. Dieselbe Antenne kann mindestens drei verschiedene Dinge zeigen, und die drei sind sehr unterschiedlich breit:

  • Standardabweichung (SD): wie stark einzelne Werte schwanken. Sie beschreibt die Daten, nicht die Genauigkeit der Schätzung.
  • Standardfehler (SE): wie stark die Schätzung zwischen Stichproben schwanken würde. Er ist die SD geteilt durch n\sqrt{n} und schrumpft also mit mehr Daten.
  • Konfidenzintervall (KI): ein Bereich für ein angegebenes Konfidenzniveau, meist 95 %. Ab etwa zehn Beobachtungen reicht ein 95 % Intervall ungefähr zwei Standardfehler nach oben und nach unten.

Cumming, Fidler und Vaux sagen es in einem Leitfaden für die Biologie ohne Umschweife: Verschiedene Fehlerbalken liefern ganz verschiedene Information, also muss die Legende sagen, welche gezeigt werden2. Wilke macht in seinem Buch über Datenvisualisierung denselben Punkt und ergänzt, dass auch das Konfidenzniveau in die Beschriftung gehört3.

Das ist keine Pedanterie. Belia, Fidler, Williams und Cumming baten Autorinnen und Autoren veröffentlichter Fachartikel aus Psychologie, Verhaltensneurowissenschaft und Medizin, ein Diagramm so lange zu verschieben, bis zwei Mittelwerte mit Fehlerbalken gerade signifikant verschieden aussahen. Aus 473 Antworten schlossen sie, dass viele führende Forschende schwere Fehlvorstellungen darüber haben, wie Fehlerbalken mit Signifikanz zusammenhängen, und Konfidenzintervalle und Standardfehlerbalken nicht ausreichend unterscheiden4. Wenn das in der Forschung passiert, passiert es in der Geschäftsführung erst recht.

Cumming und Kollegen geben auch Faustregeln für unabhängige Gruppen mit mindestens zehn Beobachtungen. Überlappen sich 95 % Konfidenzintervalle um etwa einen halben Arm, liegt der Unterschied ungefähr an der Signifikanzgrenze (p etwa 0,05). Lassen Standardfehlerbalken eine Lücke von etwa einem Arm, ist es ebenfalls ungefähr p gleich 0,052. Die Regel "die Balken überlappen sich nicht, also ist es echt" stimmt also für keine Art von Balken.

Beispiel: ein Test, drei Arten von Balken

Bergsteig Outdoor hat eine neue Produktseite getestet. Version A, die alte Seite, hatte 12.000 Besuche und 360 Bestellungen: 3,00 %. Version B, die neue Seite mit größeren Fotos und Größentabelle, hatte 12.000 Besuche und 402 Bestellungen: 3,35 %. Lena rechnet alle drei Arten von Balken aus.

Für A ist der Standardfehler einer Rate pp bei nn Besuchen p(1−p)/n\sqrt{p(1-p)/n}:

0,03×0,9712000=0,00156\sqrt{\frac{0{,}03 \times 0{,}97}{12000}} = 0{,}00156

Das sind 0,16 Prozentpunkte, mit p=0,03p = 0{,}03 und n=12000n = 12000. Für B ergibt dieselbe Rechnung ebenfalls 0,16 (vor dem Runden 0,1643). Das 95 % Intervall ist das 1,96 fache davon nach jeder Seite. Die Standardabweichung eines einzelnen Besuchs (er bestellt oder eben nicht) ist p(1−p)\sqrt{p(1-p)}, rund 17 Prozentpunkte.

Balken zeigenVersion A (3,00 %)Version B (3,35 %)Was das Bild zu sagen scheint
Standardabweichung3,00 ± 17,06 Punkte3,35 ± 17,99 Punkte"Gar kein Unterschied, alles Rauschen"
Standardfehler2,84 % bis 3,16 %3,19 % bis 3,51 %"Keine Überlappung, B ist klar besser"
95 % Konfidenzintervall2,69 % bis 3,31 %3,03 % bis 3,67 %"Sie überlappen, unklar"

Dieselben Daten, drei Bilder, drei Geschichten. Die SD Balken sind so breit, dass das Diagramm aus zwei dünnen Strichen in zwei riesigen Antennen bestünde. Die SE Balken verfehlen sich knapp, um 0,03 Punkte, und wer schnell hinschaut, sieht einen klaren Sieg. Die 95 % Intervalle überlappen sich um 0,28 Punkte, fast einen ganzen Arm, nach Cummings Regel ist der Unterschied also beim üblichen Niveau von 5 % nicht signifikant. Ein richtiger Test bestätigt das: p liegt bei etwa 0,12.

Für das Diagramm heißt das: Wenn dein Publikum Schätzungen vergleicht, nimm 95 % Konfidenzintervalle, schreib das in die Bildunterschrift und gib nn an. Noch besser: Zeichne den Unterschied selbst mit seinem Intervall. Dazu später in diesem Kapitel mehr.

Zum Vergrößern antippen: Vollbild, frei verschiebbar

Zeig die Verteilung, nicht nur den Durchschnitt

Ein Durchschnitt presst Tausende Werte in einen. Manchmal ist das genau richtig. Oft versteckt er aber das, worauf es ankommt: ob sich die Kundschaft um die Mitte sammelt, in zwei Gruppen zerfällt oder in einem langen Schwanz ausläuft. Die Statistik dazu steht in warum Durchschnitte dich anlügen. Hier geht es um die Diagrammseite.

Ein Balkendiagramm aus Durchschnitten hat noch ein zweites, leiseres Problem. Newman und Scholl zeigten Menschen Balken, die für Durchschnitte standen, und fragten, wie wahrscheinlich bestimmte Werte zu den Daten gehören. Werte innerhalb des Balkens hielten die Leute für wahrscheinlicher als Werte im gleichen Abstand oberhalb, als würde der Balken die Daten enthalten. Die beiden nannten das den Within the Bar Bias, die Verzerrung innerhalb des Balkens. Sie trat mit und ohne Fehlerbalken auf und in mehreren Gruppen von Teilnehmenden5. Ein Balken lädt das Auge ein, ihn als Behälter zu lesen, und ein Durchschnitt ist keiner.

Daraus folgen zwei Lösungen. Wo die Streuung zählt, zeig sie: als Histogramm (Balken mit Anzahlen je Wertebereich) oder, für mehrere Gruppen gleichzeitig, als Boxplot, der Median, die mittlere Hälfte der Daten und die Extreme markiert. Boxplots gibt es im Diagrammbaukasten dieser Seite nicht, deshalb nutzt das Beispiel gruppierte Histogramme. Und wo du Durchschnitte zeigst, liest sich ein Punkt mit Intervall ehrlicher als ein Balken.

Beispiel: Bestellungen im Geschäft und online

Theresa fragt, ob Kundschaft im Geschäft und online unterschiedlich viel ausgibt. Lenas erstes Diagramm vergleicht die beiden Durchschnitte.

Balkendiagramm des durchschnittlichen Bestellwerts bei Bergsteig Outdoor im Oktober, erfundene Zahlen. Das Geschäft liegt bei 70 Euro, online bei 68 Euro. Die beiden Balken sehen fast gleich aus und legen nahe, dass sich beide Kundengruppen gleich verhalten. Das Diagramm versteckt die Form der Bestellungen hinter jedem Durchschnitt. Zum Vergrößern antippen: Vollbild, frei verschiebbar

Zwei fast gleich hohe Balken. Der naheliegende Schluss: kein Unterschied. Dann zeichnet Lena dieselben Bestellungen als Verteilung, also den Anteil der Bestellungen in jedem Wertebereich.

Gruppiertes Balkendiagramm mit dem Anteil der Bestellungen in sieben Wertebereichen bei Bergsteig Outdoor im Oktober, erfundene Zahlen. Online liegen 34 Prozent der Bestellungen unter 25 Euro und 13 Prozent über 150 Euro, die Onlinebestellungen teilen sich also in viele kleine Nachkäufe und einen langen Schwanz großer Anschaffungen. Im Geschäft liegen 30 Prozent der Bestellungen zwischen 50 und 75 Euro, sehr kleine und sehr große sind selten. Die Durchschnitte sind fast gleich, 68 und 70 Euro, das Verhalten der Kundschaft ist aber sehr verschieden. Zum Vergrößern antippen: Vollbild, frei verschiebbar

Die Durchschnitte sind € 68 und € 70. Die Kundschaft ist alles andere als gleich. Online liegt ein Drittel aller Bestellungen unter € 25: Jemand kauft Gaskartuschen oder Socken nach und zahlt oft Versand für einen winzigen Warenkorb. Am anderen Ende liegen 13 % der Onlinebestellungen über € 150. Im Geschäft sammelt sich alles in der Mitte. Daraus folgen zwei Entscheidungen, auf die das erste Diagramm nie gebracht hätte: eine Grenze für kostenlosen Versand, die kleine Onlinewarenkörbe nach oben schiebt, und ein genauerer Blick darauf, was die großen Onlinebestellungen auslöst.

Bänder um Linien zeigen, wie sicher du über die Zeit bist

Im Liniendiagramm wird das Intervall zum Band: eine schattierte Fläche um die Linie, die an jedem Punkt den Bereich plausibler Werte zeigt. Wilke beschreibt das Konfidenzband um eine Trendlinie als die übliche Art, diese Unsicherheit zu zeigen, und weist darauf hin, dass selbst eine gerade Linie ein gekrümmtes Band bekommt, weil sowohl ihre Steigung als auch ihre Höhe unsicher sind3.

Bei Prognosen ist das Band ein Prognoseintervall, und es wird normalerweise breiter, je weiter du nach vorn schaust, weil sich die Unsicherheit über den Horizont aufsummiert1. Eine Prognose als einzelne Linie versteckt genau das. Das nächste Kapitel, Prognosen kommunizieren mit Fächerdiagrammen und Szenarien, geht darauf genau ein, und der Forecasting Leitfaden zeigt, wie du das Modell baust. Die Kurzfassung: Zeigt eine Linie etwas Geschätztes, bekommt sie ein Band, und die Bildunterschrift sagt, was das Band ist.

Beispiel: Lenas Umsatzausblick für drei Monate

Lenas Prognose für den Onlineumsatz der nächsten drei Monate lautet € 182.000, € 150.000 und € 171.000. Für sich allein ist das eine selbstbewusst wirkende Linie. Mit den 80 % Prognoseintervallen aus dem Prognosemodell sieht es so aus:

MonatPrognose80 % Prognoseintervall
Jänner€ 182.000€ 164.000 bis € 201.000
Februar€ 150.000€ 128.000 bis € 174.000
März€ 171.000€ 143.000 bis € 202.000

Das Band wächst von etwa € 37.000 im Jänner auf etwa € 59.000 im März. Als schattiertes Band um die Linie gezeichnet, sieht Theresa auf einen Blick, dass der Jänner ziemlich fest steht und der März eine grobe Orientierung ist. Die Bildunterschrift sagt: "Schattierte Fläche: 80 % Prognoseintervall. In acht von zehn Monaten sollte der tatsächliche Umsatz darin landen."

Kleine Stichproben brauchen breite Intervalle und ein Bild, das das zugibt

Bei kleinen Stichproben ist die Unsicherheit am größten, und genau dort verstecken Diagramme sie am häufigsten. Zwei Fallen liegen nebeneinander.

Die erste ist die Formel. Das einfache Intervall für eine Rate, p±1,96p(1−p)/np \pm 1{,}96\sqrt{p(1-p)/n}, heißt Wald Intervall. Brown, Cai und DasGupta haben gezeigt, dass seine Genauigkeit sprunghaft ist, dass die Lehrbuchregeln dazu, wann es sicher sei, in die Irre führen, und empfehlen für kleine Stichproben das Wilson Intervall (oder das Jeffreys Intervall)6. Das Wald Intervall liefert sogar unmögliche Ergebnisse: eine negative Untergrenze, oder ein Intervall der Breite null, wenn nichts passiert ist.

Für den Fall, dass gar nichts passiert ist, gibt es eine praktische Abkürzung, die Dreierregel: Ist ein Ereignis bei nn Versuchen null Mal eingetreten, liegt die Obergrenze eines ungefähren 95 % Intervalls für seine Rate bei etwa 3/n3/n7.

Die zweite Falle ist die Rangliste. Sortierst du Produkte, Filialen oder Kampagnen nach einer Rate, drängeln sich oben und unten die kleinsten Stichproben, weil die durch Zufall am weitesten ausschlagen. Spiegelhalter hat genau dafür den Funnel Plot vorgeschlagen, ein Trichterdiagramm: Jede Einheit wird mit ihrer Rate gegen ihre Stichprobengröße eingetragen, dazu Kontrollgrenzen, die mit wachsender Stichprobe enger werden. Punkte im Trichter sind mit Zufall vereinbar. Er hält fest, dass das falsche Ranglisten vermeidet8.

Beispiel: die Produktseite mit der besten Conversion

Theresas Dashboard sortiert die Produktseiten nach Conversion Rate. An der Spitze der Liste im letzten Quartal: ein Biwaksack mit 7,5 %. Ganz unten: Gamaschen mit 0 %.

Balkendiagramm, das zehn Produktseiten von Bergsteig Outdoor nach ihrer Conversion Rate im letzten Quartal sortiert, erfundene Zahlen. Der Biwaksack steht mit 7,5 Prozent an der Spitze, Gamaschen mit 0 Prozent ganz unten. Das Diagramm zeigt nicht, dass der Biwaksack nur 40 Besuche hatte und die Gamaschen nur 60, beide Extreme sind also vor allem Zufall. Zum Vergrößern antippen: Vollbild, frei verschiebbar

Lena schaut auf die Stichprobengrößen. Die Seite des Biwaksacks hatte 40 Besuche und 3 Bestellungen. Die Seite der Gamaschen hatte 60 Besuche und keine einzige Bestellung.

Für den Biwaksack reicht das Wald Intervall von minus 0,66 % bis 15,66 %. Eine negative Conversion Rate ist Unsinn, und so gibt die Formel zu, dass sie hier nicht taugt. Das Wilson Intervall reicht von 2,58 % bis 19,86 %. Die "beste" Seite könnte also gut eine ganz gewöhnliche sein.

Für die Gamaschen liefert Wald 0 % bis 0 %, also vollkommene Gewissheit aus 60 Besuchen. Die Dreierregel ergibt eine Obergrenze von 3/60=5 %3/60 = 5\,\%, das Wilson Intervall reicht von 0 % bis 6,02 %. Die Gamaschen könnten sich also ganz ordentlich verkaufen.

Dann zeichnet Lena den Funnel Plot. Jedes Produkt ist ein Punkt: Besuche auf der waagrechten Achse (logarithmisch, weil die Stichproben von 40 bis 3.200 reichen), Conversion Rate auf der senkrechten. Die beiden Kurven sind die ungefähren 95 % Grenzen um die Rate des gesamten Shops von 3,1 %.

Funnel Plot von zehn Produktseiten von Bergsteig Outdoor im letzten Quartal, erfundene Zahlen. Jedes Produkt ist ein Punkt, mit der Zahl der Besuche auf einer logarithmischen waagrechten Achse und der Conversion Rate auf der senkrechten Achse. Zwei Kurven markieren ungefähre 95 Prozent Grenzen um die Rate des gesamten Shops von 3,1 Prozent; bei kleinen Stichproben liegen sie weit auseinander, bei großen eng. Der Biwaksack mit 7,5 Prozent aus 40 Besuchen und die Gamaschen mit 0 Prozent aus 60 Besuchen liegen im Trichter, sind also mit Zufall vereinbar. Nur die Regenjacke mit 3,9 Prozent aus 3.200 Besuchen liegt über der oberen Grenze, und die Bergschuhe mit 2,3 Prozent aus 2.400 Besuchen unter der unteren. Zum Vergrößern antippen: Vollbild, frei verschiebbar

Das Bild verändert das Gespräch. Biwaksack und Gamaschen, die beiden Seiten, um die die Rangliste so viel Lärm gemacht hat, liegen bequem im Trichter. Zwei Seiten mit viel Verkehr liegen außerhalb: die Regenjacke über der oberen Grenze (3,9 % aus 3.200 Besuchen) und die Bergschuhe unter der unteren (2,3 % aus 2.400 Besuchen). Das sind die zwei Seiten, die Theresas Aufmerksamkeit verdienen. Die Seite der Bergschuhe verliert echte Verkäufe, und die Seite der Regenjacke kann den anderen vielleicht etwas beibringen.

Die Grenzen hier nutzen die einfache Normalnäherung, die am kleinen Ende grob ist. Spiegelhalters Aufsatz zeigt exakte Varianten8. Für ein Diagramm in der Geschäftsführung reicht der ungefähre Trichter, solange die Bildunterschrift das sagt.

Wörter wie "wahrscheinlich" bedeuten für jeden etwas anderes

Manchmal hast du kein Diagramm, nur einen Satz. Dann steckt die Unsicherheit in Wörtern wie "wahrscheinlich", "möglich" oder "eine echte Chance". Für die schreibende Person fühlen sie sich klar an, gelesen werden sie von jedem anders.

Das klassische Beispiel stammt von Sherman Kent, damals Mitglied des Board of National Estimates der CIA. 1951 nannte eine Einschätzung der US Nachrichtendienste einen sowjetischen Angriff auf Jugoslawien im selben Jahr eine "ernsthafte Möglichkeit" (serious possibility). Als ein hochrangiger Leser fragte, welche Chancen damit gemeint seien, nannte Kent etwa 65 zu 35 für einen Angriff. Der Leser hatte deutlich niedrigere Chancen verstanden. Kent fragte daraufhin die Kollegen im Board, die alle der Formulierung zugestimmt hatten. Der niedrigste hatte an etwa 20 zu 80 gedacht, der höchste an 80 zu 209. Eine Formulierung, von allen im Raum abgesegnet, und die Leute, die sie freigegeben hatten, meinten alles zwischen einem Fünftel und vier Fünfteln.

Kent schlug vor, Wörter an Zahlen zu binden: "probable" für etwa 75 %, plus oder minus etwa 12 %, "almost certain" für etwa 93 %, plus oder minus etwa 6 %, und so weiter9. Der Weltklimarat (IPCC) nutzt in seinen Berichten eine kalibrierte Skala dieser Art, hier in deutscher Übersetzung10.

BegriffWahrscheinlichkeit
Praktisch sicher99 % bis 100 %
Sehr wahrscheinlich90 % bis 100 %
Wahrscheinlich66 % bis 100 %
Etwa ebenso wahrscheinlich wie nicht33 % bis 66 %
Unwahrscheinlich0 % bis 33 %
Sehr unwahrscheinlich0 % bis 10 %
Außergewöhnlich unwahrscheinlich0 % bis 1 %

Schau, wie breit "wahrscheinlich" selbst in einem kalibrierten System ist: alles ab zwei Dritteln aufwärts. Andrew und Michael Mauboussin haben untersucht, wie die breite Öffentlichkeit solche Wörter liest, und fanden dieselben großen Lücken: Was für die eine Person "ziemlich wahrscheinlich" ist, ist für die andere "alles andere als sicher"11. Die praktische Regel folgt daraus: Nimm ein Wort, wenn es hilft, aber stell die Zahl daneben. Und wenn du eine Skala nutzt, druck sie im Bericht mit ab.

Beispiel: Lenas Satz für die Geschäftsführung

Lenas erster Entwurf lautet: "Die neue Produktseite wird den Umsatz wahrscheinlich steigern."

Theresa liest "wahrscheinlich" als "so gut wie sicher". Der Marketingleiter liest es als "vielleicht". Keiner von beiden weiß, wie groß die Steigerung sein könnte. Lena schreibt den Satz neu:

"Die neue Produktseite konvertiert vermutlich besser: Der Test beziffert die Chance auf etwa 94 %. Die beste Schätzung sind 11,7 % mehr Bestellungen, der plausible Bereich reicht aber von etwa 3 % weniger bis etwa 26 % mehr. Ich würde umstellen, weil die Seite nichts kostet, aber die 11,7 % nicht in die Umsatzprognose schreiben."

Länger, eh klar. Aber jetzt nehmen alle dasselbe mit, und die Entscheidung steht im Satz. Woher diese Zahlen kommen, zeigt der nächste Abschnitt.

A/B Tests: Zeig das Intervall des Unterschieds, nicht ein Gewinnerabzeichen

Ein A/B Test schickt einen Teil der Besuche zu Version A und einen Teil zu Version B und vergleicht dann die Ergebnisse. Viele Testwerkzeuge fassen das Ergebnis als Abzeichen zusammen: "Gewinner: B" und dazu eine Wahrscheinlichkeit, das Original zu schlagen. Das Abzeichen beantwortet eine Frage, die niemand gestellt hat (welche Version liegt in dieser Stichprobe vorn), und versteckt die, auf die es ankommt (wie groß ist der Unterschied, und könnte er null oder negativ sein?).

Die ehrliche Darstellung ist der Unterschied zwischen den beiden Versionen mit seinem Konfidenzintervall. Für zwei Conversion Rates:

(p^B−p^A)±zp^A(1−p^A)nA+p^B(1−p^B)nB(\hat{p}_B - \hat{p}_A) \pm z \sqrt{\frac{\hat{p}_A(1-\hat{p}_A)}{n_A} + \frac{\hat{p}_B(1-\hat{p}_B)}{n_B}}

Dabei sind p^A\hat{p}_A und p^B\hat{p}_B die beobachteten Conversion Rates der beiden Versionen, nAn_A und nBn_B ihre Besuchszahlen, die Wurzel ist der Standardfehler des Unterschieds, und z=1,96z = 1{,}96 gilt für ein 95 % Intervall. Die Abschnitte Grundlagen: Konfidenzintervalle und Grundlagen: Hypothesentests erklären die Bausteine.

Schließt das Intervall die Null aus, sprechen die Daten auf dem 5 % Niveau für einen echten Unterschied. Seine beiden Enden sagen dir, welcher kleinste und welcher größte Effekt noch zu den Daten passt, und genau das braucht eine geschäftliche Entscheidung.

Beispiel: der Produktseitentest von Bergsteig Outdoor, dreimal gezeigt

Der Test von vorhin lief zwei Wochen mit 12.000 Besuchen je Version: 360 Bestellungen bei A (3,00 %), 402 bei B (3,35 %). Lena zeigt Theresa das Ergebnis auf drei Arten.

Darstellung eins, das Gewinnerabzeichen. Das Testwerkzeug meldet: "Gewinner: B. Plus 11,7 % Conversion. 94 % Chance, das Original zu schlagen." Als Diagramm sind das zwei Balken, der höhere hervorgehoben.

Balkendiagramm des Produktseitentests von Bergsteig Outdoor, erfundene Zahlen. Version A konvertiert mit 3,00 Prozent, Version B mit 3,35 Prozent, B ist als Gewinner hervorgehoben. Das Diagramm zeigt kein Intervall und versteckt damit, dass der Unterschied unsicher ist und null oder leicht negativ sein könnte. Zum Vergrößern antippen: Vollbild, frei verschiebbar

Es wirkt eindeutig. Über die Frage, wie sicher man sein sollte, sagt es nichts.

Darstellung zwei, Balken mit Fehlerbalken. Das ist die Tabelle aus dem Abschnitt über Fehlerbalken. Mit 95 % Intervallen reicht A von 2,69 % bis 3,31 % und B von 3,03 % bis 3,67 %. Sie überlappen sich. Besser als das Abzeichen, aber jetzt muss Theresa die Überlappung nach Augenmaß beurteilen, und wie die Studie von Belia zeigt, liegt dabei selbst die Forschung oft daneben4.

Darstellung drei, das Intervall des Unterschieds. Lena rechnet es Schritt für Schritt. Der Unterschied ist 3,35 %−3,00 %=0,353{,}35\,\% - 3{,}00\,\% = 0{,}35 Prozentpunkte. Der Varianzteil für A, mit p^A=0,03\hat{p}_A = 0{,}03 und nA=12000n_A = 12000, ist:

0,03×0,9712000=0,000002425\frac{0{,}03 \times 0{,}97}{12000} = 0{,}000002425

und für B, mit p^B=0,0335\hat{p}_B = 0{,}0335 und nB=12000n_B = 12000:

0,0335×0,966512000=0,000002698\frac{0{,}0335 \times 0{,}9665}{12000} = 0{,}000002698

Die Summe ist 0,0000051230{,}000005123, ihre Wurzel, der Standardfehler des Unterschieds, ist 0,00226, also 0,2263 Prozentpunkte. Die Marge beträgt 1,96×0,2263=0,441{,}96 \times 0{,}2263 = 0{,}44 Punkte. Das 95 % Intervall reicht also von 0,35 minus 0,44 bis 0,35 plus 0,44: von minus 0,09 bis plus 0,79 Prozentpunkten. Bezogen auf Version A heißt das: von etwa 3 % weniger bis etwa 26 % mehr Bestellungen.

Lena zeichnet, wie sich dieses Intervall über die zwei Wochen entwickelt hat, mit einer gestrichelten Linie bei null.

Liniendiagramm des Produktseitentests von Bergsteig Outdoor über 14 Tage, erfundene Zahlen. Die Linie ist der kumulierte Unterschied der Conversion Rate zwischen Version B und Version A in Prozentpunkten, das schattierte Band sein 95 Prozent Konfidenzintervall. An Tag 1 beträgt der Unterschied 1,05 Punkte, mit einem Intervall von minus 0,59 bis 2,69. Das Band wird jeden Tag schmaler. An Tag 14 beträgt der Unterschied 0,35 Punkte, mit einem Intervall von minus 0,09 bis 0,79. Das Band schneidet noch immer die gestrichelte Nulllinie, ein Unterschied von null oder ein kleiner Verlust ist also nicht ausgeschlossen. Zum Vergrößern antippen: Vollbild, frei verschiebbar

Das Bild zeigt drei Dinge, die das Abzeichen versteckt hat. Die ersten Tage schwankten wild, und deshalb sollte niemand einen Test stoppen, nur weil Tag drei gut aussah. Das Band wurde mit jedem Besuch schmaler. Und an Tag 14 reicht es immer noch unter null. Die Daten passen am besten zu einem etwas besseren B, schließen aber keinen Unterschied oder einen kleinen Verlust nicht aus. Ein Standardtest bestätigt das: p liegt bei etwa 0,12.

Die "94 % Chance, das Original zu schlagen" auf dem Abzeichen ist nicht falsch. Ungefähr das ergibt sich aus denselben Zahlen unter einfachen Annahmen. Aber sie beschreibt nur die Richtung, nie die Größe, und sie verleitet Theresa dazu, 11,7 % Plus zu verbuchen, die auch 0 % sein könnten.

Um einen so kleinen Effekt verlässlich zu finden, bräuchte es viel mehr Verkehr: nach der üblichen Fallzahlrechnung etwa 39.000 Besuche je Version für eine Chance von 80 %, ihn zu entdecken (Grundlagen: Stichprobengröße, und ausführlich in wie viele Daten brauchst du wirklich). Das sollte Theresa vor dem nächsten Test wissen, nicht danach.

Was Theresa entscheiden sollte

Ich beginne jedes Analyticsprojekt bei der Entscheidung, die es unterstützen soll, und ein A/B Test ist da keine Ausnahme. Die Frage lautet nicht "Hat B gewonnen?", sondern "Was macht der Shop jetzt, und was verspricht er?" Der Ablauf unten ist der, den Lena nutzt.

Zum Vergrößern antippen: Vollbild, frei verschiebbar

Bei Bergsteig Outdoor enthält das Intervall die Null. Die neue Seite ist schon gebaut und kostet nichts, und nichts im Test deutet auf einen Schaden hin, der über einen möglichen kleinen Knick hinausgeht. Lenas Empfehlung also: auf B umstellen, die Umsatzprognose unverändert lassen und die Conversion der Produktseite im nächsten Quartal beobachten. Will Theresa irgendwann die Größe des Effekts wissen, braucht der nächste Test etwa die dreifache Besuchszahl, geplant, bevor er startet.

Bevor du eine unsichere Zahl veröffentlichst

Ein kurzer Check, der auf einen Bildschirm passt. Geh ihn durch, bevor eine Schätzung in ein Diagramm oder einen Bericht wandert.

  1. Ist diese Zahl eine Schätzung? Kommt sie aus einer Stichprobe, einem Test oder einem Modell, ist sie unsicher. Sag das.
  2. Welche Frage haben die Lesenden? Zum Durchschnitt (Konfidenzintervall) oder zum nächsten einzelnen Wert (Prognoseintervall)?
  3. Was zeigen die Balken oder das Band? SD, SE oder ein Konfidenzintervall, auf welchem Niveau, aus wie vielen Beobachtungen. Schreib es in die Bildunterschrift.
  4. Würde eine Verteilung mehr sagen als der Durchschnitt? Wenn die Form die Entscheidung ändern könnte, zeichne das Histogramm.
  5. Ist eine Gruppe klein? Nimm Wilson Intervalle für kleine Raten, die Dreierregel bei null Ereignissen und einen Funnel Plot statt einer Rangliste.
  6. Stehen da Wörter wie "wahrscheinlich"? Stell die Zahl daneben.
  7. Ist es ein Vergleich? Zeig den Unterschied mit seinem Intervall, nicht zwei einzelne Zahlen und ein Abzeichen.

Jedes Diagramm auf meiner eigenen Website folgt einer kleinen Reihe fester Regeln: nur Markenfarben, heller und dunkler Modus, Beschriftungen im 45 Grad Winkel, eine Vollbildansicht, Abläufe von oben nach unten für das Handy und eine Textbeschreibung für Screenreader. Die Beschreibungen der Diagramme oben sind genauso geschrieben: was das Diagramm zeigt, worauf es hinausläuft und die wichtigsten Zahlen samt Intervall. Wer mit Screenreader liest, hat auch ein Recht auf die Unsicherheit.

Fazit

Jede Zahl in einem Geschäftsbericht, die aus einer Stichprobe, einem Test oder einem Modell stammt, ist eine Schätzung, und ein Diagramm, das nur den Punkt zeigt, behauptet stillschweigend mehr Gewissheit, als irgendwer hat. Die Lösung ist nicht kompliziert. Sag, ob du den Durchschnitt meinst oder den nächsten einzelnen Wert, und zeichne das passende Intervall. Beschrifte jeden Fehlerbalken. Zeig die Verteilung, wenn die Form zählt. Gib kleinen Stichproben die breiten Intervalle, die sie verdienen, und zeichne sie in einen Trichter statt in eine Rangliste. Stell Zahlen neben Wörter wie "wahrscheinlich". Und zeig einen A/B Test als Unterschied mit Intervall, und entscheide anhand seiner Enden, nicht anhand eines Abzeichens.

Theresa hat von Lena keinen weniger nützlichen Bericht bekommen. Sie hat einen bekommen, mit dem sie arbeiten kann: welche Zahlen fest stehen, welche grob sind und welche Entscheidung aus jeder folgt.

Wenn deine Berichte Zahlen zeigen, ohne zu sagen, wie sicher sie sind, buch den kostenlosen Workshop: Wir nehmen einen deiner echten Berichte oder A/B Tests und zeichnen ihn mit ehrlichen Intervallen neu, und die ersten zwei Wochen Arbeit gehen auf mich.

Quellen

  1. 1.

    Rob J. Hyndman und George Athanasopoulos, Forecasting: Principles and Practice, 3. Auflage, OTexts, 2021, Abschnitt 5.5 Distributional forecasts and prediction intervals, https://otexts.com/fpp3/prediction-intervals.html

  2. 2.

    Geoff Cumming, Fiona Fidler und David L. Vaux, Error bars in experimental biology, The Journal of Cell Biology 177(1), 7 bis 11, 2007, https://pmc.ncbi.nlm.nih.gov/articles/PMC2064100/

  3. 3.

    Claus O. Wilke, Fundamentals of Data Visualization, O'Reilly Media, 2019, Kapitel 16 Visualizing uncertainty, frei verfügbare Onlineausgabe, https://clauswilke.com/dataviz/visualizing-uncertainty.html

  4. 4.

    Sarah Belia, Fiona Fidler, Jennifer Williams und Geoff Cumming, Researchers misunderstand confidence intervals and standard error bars, Psychological Methods 10(4), 389 bis 396, 2005, https://pubmed.ncbi.nlm.nih.gov/16392994/

  5. 5.

    George E. Newman und Brian J. Scholl, Bar graphs depicting averages are perceptually misinterpreted: the within-the-bar bias, Psychonomic Bulletin and Review 19(4), 601 bis 607, 2012, https://doi.org/10.3758/s13423-012-0247-5

  6. 6.

    Lawrence D. Brown, T. Tony Cai und Anirban DasGupta, Interval estimation for a binomial proportion, Statistical Science 16(2), 101 bis 133, 2001, https://doi.org/10.1214/ss/1009213286

  7. 7.

    James A. Hanley und Abby Lippman-Hand, If nothing goes wrong, is everything all right? Interpreting zero numerators, JAMA 249(13), 1743 bis 1745, 1983, https://pubmed.ncbi.nlm.nih.gov/6827763/

  8. 8.

    David J. Spiegelhalter, Funnel plots for comparing institutional performance, Statistics in Medicine 24(8), 1185 bis 1202, 2005, https://pubmed.ncbi.nlm.nih.gov/15568194/

  9. 9.

    Sherman Kent, Words of estimative probability, Studies in Intelligence 8(4), Central Intelligence Agency, 1964, https://www.cia.gov/resources/csi/static/Words-of-Estimative-Probability.pdf

  10. 10.

    Michael D. Mastrandrea und andere, Guidance note for lead authors of the IPCC Fifth Assessment Report on consistent treatment of uncertainties, Intergovernmental Panel on Climate Change, 2010, Tabelle 1, https://www.ipcc.ch/site/assets/uploads/2017/08/AR5_Uncertainty_Guidance_Note.pdf

  11. 11.

    Andrew Mauboussin und Michael J. Mauboussin, If you say something is "likely," how likely do people think it is?, Harvard Business Review, 3. Juli 2018, https://hbr.org/2018/07/if-you-say-something-is-likely-how-likely-do-people-think-it-is