Statistisches Denken fürs Wachstum: warum Durchschnitte dich anlügen
Kurz gesagt
Niveau: Einstieg
Ein Durchschnitt ist eine Zusammenfassung, und Zusammenfassungen werfen die Form der Daten weg.
- Shopdaten kippen nach rechts. Ein paar große Bestellungen ziehen den Mittelwert weit über das, was ein typischer Kunde ausgibt. Gib den Median daneben an.
- Eine Mitte braucht eine Streuung. Ist die Standardabweichung größer als der Mittelwert, nimm Quartile, die sich von Ausreißern nicht verschieben lassen.
- Ausreißer sind oft ein anderer Kunde, kein Fehler. Trenn sie ab, statt sie zu löschen.
- Simpson Paradoxon: Jedes Segment kann besser werden, während die Summe fällt, weil sich die Mischung verschoben hat. Schau dir beide Sichten an.
- Für Summen, Prognosen und den Erwartungswert ist der Mittelwert weiterhin richtig. Nimm die Zahl, die zur Entscheidung passt.
Durchschnittlicher Bestellwert, durchschnittlicher Umsatz pro Kunde, durchschnittliche Conversion Rate: die erste Zeile fast jedes Dashboards, und die Zeile, die eine Entscheidung am ehesten in die falsche Richtung schickt. Hier zeige ich dir Schritt für Schritt an einem erfundenen Keramikshop in Hamburg, warum Durchschnitte täuschen und welche paar Zahlen du danebenstellen solltest, damit sie es nicht mehr tun.
Eine Zahl, die für Tausende steht
Mach fast irgendein Shop Dashboard auf, und die erste Zeile besteht aus Durchschnitten: Bestellwert, Umsatz pro Kunde, Conversion Rate. Jede dieser Zahlen presst Tausende Bestellungen in einen einzigen Wert, und genau dafür ist sie da. Niemand hat 2.000 Bestellungen gleichzeitig im Kopf.
Nur funktioniert eine Zusammenfassung, indem sie etwas weglässt. Der Durchschnitt behält den Schwerpunkt der Daten und wirft ihre Form weg: wie breit sie streuen, ob sie zu einer Seite kippen, ob in einer Spalte eigentlich zwei ganz verschiedene Gruppen von Kunden stecken. Im Wachstum liegt die Entscheidung meistens genau in dieser Form. Der Durchschnitt lügt nicht mit Absicht. Er lügt durch Weglassen.
Im Folgenden stehen die paar Gedanken, mit denen dich ein Durchschnitt nicht mehr in die Irre führt. Keiner davon braucht mehr als Schulmathematik.
Ich arbeite dabei durchgehend mit einem erfundenen Unternehmen. Elbkeramik ist ein kleiner Keramikshop in Hamburg, geführt von Jonas. Er verkauft Becher, Schalen und Teller online, dazu ab und zu eine größere Bestellung von einem Café. Jonas gibt es nicht, und jede Zahl in diesem Artikel ist ausgedacht, damit ich jeden Rechenschritt zeigen kann.
Der Mittelwert beantwortet eine Frage, die du vermutlich nicht gestellt hast
Mit "dem Durchschnitt" meinen die meisten den arithmetischen Mittelwert: alle Werte zusammenzählen und durch ihre Anzahl teilen.1
Dabei ist (gesprochen "x quer") der Mittelwert, die Anzahl der Werte, der te Wert, und heißt "zähle jeden Wert zusammen, vom ersten, , bis zum letzten, ". Von Grund auf aufgebaut ist das in Grundlagen: der Mittelwert.
Die Frage, die der Mittelwert beantwortet, ist genau umrissen: Wenn man die Summe gleichmäßig verteilen würde, wie viel bekäme dann jeder? Für manche Aufgaben ist das eine völlig vernünftige Frage. Sie ist nur selten die Frage "Was gibt ein normaler Kunde aus?", und genau die glauben die meisten zu stellen.
Rechenbeispiel: zehn Bestellungen an einem Dienstag
Jonas bekommt an einem ruhigen Dienstag zehn Bestellungen. Vom kleinsten zum größten Wert sortiert, in Euro:
| Bestellung | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 |
|---|---|---|---|---|---|---|---|---|---|---|
| Wert | 22 € | 24 € | 24 € | 28 € | 30 € | 32 € | 35 € | 38 € | 45 € | 420 € |
Die letzte ist ein Café in Ottensen, das 40 Becher für seine neue Theke bestellt.
Erster Schritt, alles zusammenzählen: .
Zweiter Schritt, durch die Anzahl der Bestellungen teilen, : .
Die mittlere Bestellung am Dienstag lag also bei 69,80 €. Jetzt schau noch einmal in die Tabelle. Neun der zehn Bestellungen liegen bei 45 € oder darunter. Kein einziger Kunde hat auch nur annähernd 69,80 € ausgegeben. Eine einzige Bestellung zieht die Zahl nach oben, und am Ende beschreibt sie niemanden.
Median und Modus beschreiben die typische Bestellung
Zwei andere Kennzahlen beantworten die Frage, die eigentlich gemeint ist. Der Median ist der mittlere Wert, wenn alles sortiert ist: Die Hälfte der Bestellungen liegt darunter, die Hälfte darüber. Bei einer geraden Anzahl von Werten liegt er genau zwischen den beiden mittleren. Der Modus ist der Wert, der am häufigsten vorkommt.1
Wenn es extreme Werte gibt, beschreibt der Median die Mitte besser, weil ihn nur die Reihenfolge der Werte interessiert, nicht ihre Größe. Mach die größte Bestellung doppelt so groß, und der Median rührt sich nicht.1 Beide sind erklärt in Grundlagen: Median und Modus.
Rechenbeispiel: Median und Modus von Jonas' Dienstag
Die zehn Bestellungen sind schon sortiert. Mit liegt die Mitte zwischen dem fünften und dem sechsten Wert, also zwischen 30 € und 32 €. Der Median ist damit , also 31 €.
Der Modus ist 24 €, der einzige Wert, der zweimal vorkommt. Das ist der Preis für Jonas' meistverkauftes Becherpaar.
Der Dienstag sieht also so aus: Mittelwert 69,80 €, Median 31 €, Modus 24 €. Der Median ist die Zahl, die zu dem passt, was ein typischer Kunde getan hat.
Jetzt nimm die Bestellung des Cafés heraus und rechne noch einmal. Neun Bestellungen, Summe , der Mittelwert wird zu . Der Median von neun sortierten Werten ist der fünfte, also 30 €. Eine einzige Bestellung hat den Mittelwert von 30,89 € auf 69,80 € gehoben, mehr als verdoppelt. Den Median hat dieselbe Bestellung um 1 € verschoben.
Liegt der Mittelwert über dem Median, kippen die Daten nach rechts
Die Reihenfolge Mittelwert, dann Median, dann Modus, vom größten zum kleinsten, ist kein Zufall. Sie ist das Kennzeichen einer rechtsschiefen Verteilung: Die meisten Werte drängen sich am unteren Ende, und ein langer Ausläufer zieht sich zu den großen hin. Bei einer rechtsschiefen Verteilung ist der Mittelwert in der Regel größer als der Median, und der Modus ist der kleinste der drei.2
Eine Verteilung ist das ganze Bild davon, wie oft jeder Wert vorkommt. Du siehst sie, wenn du Bestellungen in Wertklassen einsortierst und jede Klasse zählst. Mehr dazu in Grundlagen: Verteilungen.
In den Shops, an denen ich gearbeitet habe, kippen Bestellwerte fast immer nach rechts: viele kleine und mittlere Warenkörbe, ein dünnerer Strom großer, und hin und wieder eine Bestellung von einem Gewerbekunden, die ein Vielfaches von allem anderen ausmacht. Der Mittelwert solcher Daten ist nicht falsch, aber er sitzt draußen im Ausläufer, weit weg von den meisten Kunden. Das Statistikhandbuch des US National Institute of Standards and Technology (NIST) sagt es ohne Umschweife: Bei schiefen Daten liefern Mittelwert und Median keine ähnliche Schätzung der Lage, und extreme Werte in den Ausläufern verzerren den Mittelwert.3
Rechenbeispiel: ein ganzes Quartal an Bestellungen
Jonas' letztes Quartal brachte 2.000 Bestellungen und 132.000 € Umsatz. In Wertklassen sortiert sieht das so aus:
Unten stehen die Wertklassen in Euro, von unter 20 € links bis über 500 € rechts. Nach oben ist die Zahl der Bestellungen in jeder Klasse aufgetragen. Die Spitze liegt bei 20 € bis 30 €, danach fallen die Balken Stufe für Stufe ab und laufen in einen langen, dünnen Ausläufer aus. So sieht eine rechtsschiefe Verteilung aus. Die Erkenntnis: Der Großteil von Jonas' Kunden steckt in den ersten vier Balken, und der Mittelwert wohnt woanders.
Jetzt die drei Kennzahlen, Schritt für Schritt.
Der Mittelwert ist die Summe geteilt durch die Anzahl: , also 66 €.
Der Median ist der Wert der mittleren Bestellung, zwischen der 1.000. und der 1.001. in sortierter Reihenfolge. Zähl die Balken hoch: 180 Bestellungen unter 20 €, mit 520 weiteren sind wir bei 700, mit 420 weiteren bei 1.120. Die mittleren Bestellungen liegen also in der Klasse 30 € bis 40 €. Jonas schaut in seinem Bestellexport nach: Der Median ist 36 €.
Der Modus ist 24 €, wieder das meistverkaufte Becherpaar.
Mittelwert 66 €, Median 36 €, Modus 24 €. Zählt man die Balken noch einmal, liegen unter 60 € genau Bestellungen, und ein paar Dutzend mehr liegen zwischen 60 € und 66 €. Rund 1.540 der 2.000 Bestellungen, etwa 77 %, liegen also unter dem Mittelwert. "Unsere durchschnittliche Bestellung liegt bei 66 €" stimmt. "Unsere Kunden geben ungefähr 66 € aus" stimmt nicht.
Rechenbeispiel: die Grenze für kostenlosen Versand
Hier wird es teuer. Jonas will ab einem bestimmten Betrag kostenlos versenden, damit Leute noch einen Artikel mehr in den Warenkorb legen. Sein erster Impuls ist, die Grenze knapp über dem Durchschnitt anzusetzen: 70 €.
Die nützliche Frage lautet aber nicht "Wo liegt der Durchschnitt?", sondern "Wie viele Bestellungen liegen eine kleine Strecke unter der Grenze?". Wer 8 € darunter liegt, legt vielleicht noch einen Becher dazu. Wer 40 € darunter liegt, kauft nicht drei weitere. Jonas setzt 15 € als vernünftige Strecke an.
Bei einer Grenze von 70 € sind das die Bestellungen zwischen 55 € und 70 €. Laut Export etwa 160 Stück, 8 % des Quartals. Der typische Kunde mit 36 € liegt 34 € entfernt und zahlt einfach den Versand.
Bei einer Grenze von 45 € reicht die Strecke von 30 € bis 45 €: etwa 515 Bestellungen, ungefähr ein Viertel aller Bestellungen.
Welche Grenze die richtige ist, hängt von seiner Marge und den Versandkosten ab, denn eine niedrigere Grenze schenkt auch allen den Versand, die ohnehin schon darüber liegen. Aber mit dem Mittelwert kann er diese Rechnung nicht einmal anfangen. Nur die Verteilung zeigt Jonas, wer nah genug dran ist.
Die Streuung sagt dir, ob du der Mitte trauen kannst
Eine Mitte ohne Streuung ist ein halber Satz. Zwei Shops können beide einen mittleren Bestellwert von 66 € haben, der eine mit fast allen Bestellungen zwischen 55 € und 75 €, der andere mit Bestellungen von 8 € bis 2.000 €. Nur der erste kann mit dem Mittelwert planen.
Die Standardabweichung misst, wie weit die Werte typischerweise von ihrem Mittelwert entfernt liegen.4 Für eine Stichprobe rechnet man so:
Dabei ist die Standardabweichung der Stichprobe, die Anzahl der Werte, der te Wert, ihr Mittelwert und der quadrierte Abstand jedes Werts vom Mittelwert. Das Quadrieren macht jeden Abstand positiv und gewichtet große Abstände stark. Die Division durch statt durch schätzt die Streuung in der ganzen Grundgesamtheit besser, wenn du nur eine Stichprobe daraus hast.4 Die Wurzel holt das Ergebnis zurück in Euro. Ohne die Wurzel heißt die Größe Varianz, . Alles davon, auch warum es ist, steht in Grundlagen: die Streuung.
Ein praktischer Begleiter ist der Variationskoeffizient, die Standardabweichung geteilt durch den Mittelwert:
Dabei ist der Variationskoeffizient, die Standardabweichung und der Mittelwert. Weil sich die Euro herauskürzen, kannst du damit die Streuung von Dingen vergleichen, die auf ganz verschiedenen Skalen gemessen werden. Derselbe Abschnitt der Grundlagen zur Streuung erklärt ihn, zusammen mit einer Faustregel, die ich verwende: Sobald der über 1 liegt, ist der Mittelwert allein keine sichere Zusammenfassung mehr, und ich gebe immer den Median daneben an.
Rechenbeispiel: die Streuung von Jonas' Dienstag
Zurück zu den zehn Bestellungen, mit .
Erster Schritt, der Abstand jeder Bestellung vom Mittelwert, : Die neun kleinen Bestellungen liegen zwischen minus 47,80 € (für 22 €) und minus 24,80 € (für 45 €). Die Bestellung des Cafés liegt bei .
Zweiter Schritt, jeden Abstand quadrieren. Die neun kleinen ergeben 2.284,84, 2.097,64, 2.097,64, 1.747,24, 1.584,04, 1.428,84, 1.211,04, 1.011,24 und 615,04. Das Café ergibt .
Dritter Schritt, die Quadrate zusammenzählen: .
Vierter Schritt, durch teilen: . Das ist die Varianz, .
Fünfter Schritt, die Wurzel ziehen:
Damit ist . Deutlich über 1, also gehört der Median dazu.
Schau dir den dritten Schritt noch einmal an. Die Bestellung des Cafés allein trägt 122.640,04 der 136.717,6 bei, fast 90 %. Eine Bestellung ist die Streuung. Ohne sie haben die neun Bestellungen einen Mittelwert von 30,89 €, eine Standardabweichung von 7,51 € und einen von 0,24: ein ruhiger kleiner Shop, auf dem ein Café sitzt.
Das ist der Haken an der Standardabweichung: Sie baut auf dem Mittelwert auf und erbt deshalb seine Schwäche. Ausreißer können sie sehr groß machen, und bei schiefen Daten hilft sie unter Umständen wenig.4 NIST sagt dasselbe: Extreme Werte in den Ausläufern verzerren sie.5
Quartile: eine Streuung, die sich von Ausreißern nicht herumschubsen lässt
Für schiefe Daten heißt die Antwort, die Streuung über Positionen zu beschreiben statt über Abstände. Perzentile teilen sortierte Daten in 100 gleiche Teile, Quartile teilen sie in vier. Unter dem ersten Quartil, , liegt ein Viertel der Werte. Das zweite ist der Median. Unter dem dritten, , liegen drei Viertel. Der Abstand zwischen erstem und drittem Quartil ist der Interquartilsabstand, die Streuung der mittleren Hälfte der Daten.6
Dabei ist der Interquartilsabstand, das dritte Quartil und das erste Quartil. Weil er nur auf die mittlere Hälfte schaut, kommen die größten und die kleinsten Werte nicht an ihn heran. NIST zählt ihn zu den Streuungsmaßen, die auch bei extremen Ausläufern standhalten.5 Der Median, auf dem er aufbaut, steht in Grundlagen: Median und Modus.
Dieselben Quartile liefern einen üblichen Test für Werte, die einen zweiten Blick verdienen. Ein Wert ist ein möglicher Ausreißer, wenn er mehr als unter oder mehr als über liegt.6
Rechenbeispiel: die Quartile des Dienstags
Teil die zehn sortierten Bestellungen am Median in fünf untere (22 €, 24 €, 24 €, 28 €, 30 €) und fünf obere (32 €, 35 €, 38 €, 45 €, 420 €). Das erste Quartil ist der Median der unteren fünf, 24 €. Das dritte Quartil ist der Median der oberen fünf, 38 €. (Tabellenprogramme rechnen Quartile nach leicht unterschiedlichen Regeln, deine Werte können also um ein oder zwei Euro abweichen.)
Die mittlere Hälfte der Dienstagsbestellungen umfasst gerade einmal 14 €. Der obere Zaun liegt bei . Die Bestellung des Cafés liegt mit 420 € weit darüber und wird markiert. Der untere Zaun liegt bei , und darunter liegt nichts.
Rechenbeispiel: Jonas' Quartal in einer Zeile
Für das ganze Quartal zählt Jonas den sortierten Export genauso durch. Die 500. Bestellung (das erste Quartil) liegt bei etwa 26 €. Die 1.500. (das dritte Quartil) bei 60 €. Die 1.800., das 90. Perzentil, bei etwa 110 €.
Seine Quartalszusammenfassung lautet jetzt: "2.000 Bestellungen, 132.000 € Umsatz. Typische Bestellung 36 €, mittlere Hälfte zwischen 26 € und 60 €, jede zehnte Bestellung über 110 €. Mittelwert 66 €." Jede Zahl in dieser Zeile sagt ihm etwas, das der Mittelwert allein nicht konnte.
Ausreißer sind meistens Kunden, keine Fehler
Ein Ausreißertest markiert einen Wert. Was du damit machst, sagt er dir nicht. Es gibt drei ehrliche Möglichkeiten, und nur eine davon heißt "löschen".
Es kann ein Fehler sein: eine Testbestellung, ein doppelter Import, eine Erstattung, die als Verkauf gebucht wurde. Beheb ihn an der Quelle und nimm ihn raus.
Es kann ein echtes, aber seltenes Ereignis sein: eine einmalige Bestellung einer Hochzeitsplanerin. Behalt es, aber gib eine Mitte an, die es nicht verschieben kann. Der Median kann das. Ein getrimmter Mittelwert kann es auch: Er lässt an beiden Enden einen festen Anteil der Werte weg, bevor er mittelt. NIST nennt 5 % an jedem Ende als übliche Wahl und zählt den getrimmten Mittelwert zu den Kennzahlen, die von den Ausläufern nicht übermäßig beeinflusst werden.3
Oder es ist eine ganz andere Art von Kunde. Das ist der wertvollste Fall und der, der am häufigsten übersehen wird. Das Café ist kein seltsamer Privatkunde. Es ist ein Gewerbekunde, der für einen Betrieb einkauft, in einem anderen Maßstab und aus anderen Gründen. Wer beides in einen Durchschnitt mischt, beschreibt keinen von beiden.
Rechenbeispiel: ein getrimmter Mittelwert, dann eine saubere Trennung
Trimmt man bei den zehn Bestellungen vom Dienstag an jedem Ende eine weg (10 % je Seite, der sanfteste Schnitt, der bei zehn Werten möglich ist), fallen 22 € und 420 € heraus. Die übrigen acht ergeben zusammen , der getrimmte Mittelwert ist also . Nah am Median von 31 €, wie zu erwarten.
Dann die Trennung. Jonas geht das Quartal durch und markiert seine Gewerbebestellungen. Es sind 60, alle über 200 €, zusammen 33.000 € wert. Die mittlere Gewerbebestellung ist damit , also 550 €.
Privatkunden sind alles andere: Bestellungen im Wert von . Die mittlere Privatbestellung ist , rund 51 €. Der Median der Privatkunden bewegt sich kaum, er liegt bei etwa 35 €.
Jonas hat nicht ein Geschäft mit einem mittleren Bestellwert von 66 €. Er hat einen Shop für Privatkunden mit einer typischen Bestellung von 35 € und eine kleine Gewerbesparte um 550 €, und die brauchen andere Preise, andere Mails und andere Versandangebote. Der eine Durchschnitt hat beide zu einem Kunden vermengt, den es nicht gibt.
Der Mittelwert beschreibt überhaupt kein Segment
Dasselbe Vermengen passiert mit Kunden über ein ganzes Jahr, und genau da versteckt sich das Geld. Wenn Kunden in Gruppen zerfallen, die sich sehr unterschiedlich verhalten, ist der Gesamtmittelwert eine gewichtete Mischung der Gruppenmittelwerte:
Dabei ist der mittlere Wert pro Kunde insgesamt, die Anzahl der Segmente, der Zähler, der durch sie läuft, die Zahl der Kunden im Segment und der mittlere Wert pro Kunde in diesem Segment. Oben steht der Gesamtwert, unten die Gesamtzahl der Kunden. Es ist der ganz normale Mittelwert aus Grundlagen: der Mittelwert, nur Gruppe für Gruppe zusammengezählt.
Rechenbeispiel: Jonas' Kunden über ein Jahr
Jonas sortiert die 1.500 Privatkunden des letzten Jahres danach, was jeder im Jahr ausgegeben hat, und teilt sie in drei Gruppen.
| Segment | Kunden | Anteil an Kunden | Ausgaben pro Kunde | Umsatz | Anteil am Umsatz |
|---|---|---|---|---|---|
| Einmal bestellt und weg | 1.000 | 67 % | 30 € | 30.000 € | 29 % |
| Einmal wiedergekommen | 350 | 23 % | 90 € | 31.500 € | 30 % |
| Stammkunden | 150 | 10 % | 280 € | 42.000 € | 41 % |
| Alle | 1.500 | 100 % | 69 € | 103.500 € | 100 % |
Die Umsatzspalte ist Kunden mal Ausgaben: , und . Zusammen sind das , und der Mittelwert pro Kunde ist .
69 € pro Kunde. Keine Gruppe gibt auch nur annähernd so viel aus. Zwei Drittel der Kunden geben 30 € aus, und jeder zehnte gibt 280 € aus. Die Stammkunden sind 10 % der Menschen und 41 % des Umsatzes.
Verlockend ist der Schluss, dass ein paar große Kunden viele kleine schlagen. Vorsicht: Zehn Kunden mit je 100 € und hundert mit je 10 € bringen genau dieselben 1.000 €. Der Unterschied liegt darin, was jede Gruppe kostet, um sie zu gewinnen und zu betreuen, und was sie bewegt. Die Stammkunden reagieren auf frühen Zugang und einen Grund, wiederzukommen. Die Einmalkunden brauchen überhaupt erst einen Grund für eine zweite Bestellung. Wer alle als den 69 € Kunden behandelt, trifft keine der beiden Gruppen. Wie man solche Gruppen sauber findet und mit welchen Methoden, darum geht es in Segmentierung: Strategie vor Algorithmen und in Werkzeuge der Segmentierung.
Das Simpson Paradoxon: Jeder Teil wird besser, und das Ganze wird schlechter
Am seltsamsten führt ein Durchschnitt in die Irre, wenn er in die ganz falsche Richtung zeigt. Das Simpson Paradoxon ist der Name für einen Zusammenhang, der auftaucht, verschwindet oder sich umkehrt, sobald man eine Grundgesamtheit in Gruppen aufteilt.7 Es passiert immer dann, wenn sich die Mischung der Gruppen zwischen den Dingen ändert, die du vergleichst.
Der klassische Fall sind die Zulassungen zum Masterstudium an der University of California, Berkeley, die Bickel und Kollegen 1975 untersucht haben. Über die ganze Universität gerechnet wurden Männer häufiger zugelassen als Frauen. Fachbereich für Fachbereich gab es keine Benachteiligung von Frauen. Der Unterschied kam daher, wo sich die Leute beworben hatten: Frauen bewarben sich öfter bei den Fachbereichen, in die man am schwersten hineinkam.7 Die Gesamtquote war eine Mischung, und die Mischung war eine andere.
Im Shop versteckt sich dasselbe in Conversion Rates, also im Verhältnis von Bestellungen zu Besuchen (siehe Grundlagen: Quoten und Raten). Die Gesamtrate ist ein gewichteter Mittelwert der Raten in den Segmenten, gewichtet mit dem Anteil jedes Segments am Traffic:
Dabei ist die gesamte Conversion Rate, die Anzahl der Segmente, der Anteil von Segment an allen Besuchen (die Anteile ergeben zusammen 1) und die Conversion Rate innerhalb von Segment . Es ist die gewichtete Form des Mittelwerts aus Grundlagen: der Mittelwert.
Rechenbeispiel: Der November sieht schlechter aus und ist besser
Jonas schaltet im November eine Kampagne in den sozialen Medien, die eine Welle von Besuchern auf dem Handy bringt. Er vergleicht die Conversion mit dem Oktober, getrennt nach Desktop und Mobil:
| Monat | Gerät | Besuche | Bestellungen | Conversion Rate |
|---|---|---|---|---|
| Oktober | Desktop | 10.000 | 400 | 4,0 % |
| Oktober | Mobil | 10.000 | 150 | 1,5 % |
| Oktober | Alle | 20.000 | 550 | 2,75 % |
| November | Desktop | 6.000 | 252 | 4,2 % |
| November | Mobil | 24.000 | 384 | 1,6 % |
| November | Alle | 30.000 | 636 | 2,12 % |
Desktop ist gestiegen, von 4,0 % auf 4,2 %. Mobil ist gestiegen, von 1,5 % auf 1,6 %. Die Gesamtrate ist gefallen, von 2,75 % auf 2,12 %.
Die Formel zeigt, warum. Im Oktober hatte jedes Gerät die Hälfte der Besuche, also , und .
Im November hatte Desktop der Besuche und Mobil , also .
Die Gewichte haben sich zu dem Gerät verschoben, das immer schlechter konvertiert. Beide Raten innerhalb der Segmente sind besser geworden, und die verschobene Mischung hat sie überrollt.
Unten stehen die beiden Monate. Nach oben ist die Conversion Rate in Prozent aufgetragen. Die Linien für Desktop und Mobil steigen beide leicht an, und die Linie für alle Besucher fällt zwischen ihnen ab. Die Erkenntnis: Eine Gesamtrate kann fallen, während jeder Teil des Geschäfts besser wird, einfach weil sich die Zusammensetzung des Traffics verschoben hat.
In derselben Tabelle steckt noch eine zweite Falle. Mittelt Jonas die beiden Raten vom November direkt, , bekommt er eine Zahl, die weder die echte Gesamtrate von 2,12 % ist noch sonst irgendetwas Reales. Ein Durchschnitt von Durchschnitten ignoriert die Gewichte. Geh immer zurück zu den Summen: 636 Bestellungen geteilt durch 30.000 Besuche.
Die getrennte Sicht ist nicht immer die richtige. Wenn die Kampagne Besucher gebracht hat, die nie kaufen werden, ist die niedrigere Gesamtrate die ehrliche Antwort auf die Frage "Hat es sich gelohnt?". Das Paradoxon sagt dir nicht, welcher Sicht du trauen sollst. Es sagt: Schau dir beide an und frag, warum sich die Mischung verändert hat. Wie du zwei Raten sauber vergleichst, mit der Unsicherheit eingerechnet, steht in Statistische Tests: Stichprobengröße, Lift und vollfaktorielle Designs.
Wann der Mittelwert genau die richtige Zahl ist
Ein Wort zur Verteidigung des Mittelwerts: Er beantwortet die Frage nach dem gleichmäßigen Verteilen, und manche Entscheidungen sind genau diese Frage.
Summen sind eine davon. Mittelwert mal Anzahl ergibt die Summe, und keine andere Mitte hat diese Eigenschaft. Erwartet Jonas im nächsten Quartal 2.200 Bestellungen und braucht eine Umsatzprognose, dann sind 2.200 Bestellungen zu je 66 €, also 145.200 €, richtig, und 2.200 zum Median von 36 € wären weit daneben. Budgets, Liquidität und Lagerbestand in Euro brauchen den Mittelwert.
Der Erwartungswert ist eine weitere. Wenn du Optionen nach ihrem wahrscheinlichen Ertrag abwägst, multiplizierst du Ergebnisse mit Wahrscheinlichkeiten und zählst sie zusammen, und das ist ein Mittelwert (siehe Grundlagen: der Erwartungswert und Entscheidungstheorie für Gründer).
Und der Vergleich des Umsatzes pro Besucher in einem Test ist eine dritte. Einzelne Bestellungen sind schief, aber der Mittelwert vieler Bestellungen verhält sich weit berechenbarer als jede einzelne Bestellung. Das ist der zentrale Grenzwertsatz, beschrieben in Grundlagen: Verteilungen. Mit genug Bestellungen ist der Vergleich von Mittelwerten solide. Mit 30 Bestellungen und einem Café ist er es nicht.
Rechenbeispiel: welche Zahl für welche Entscheidung
Jonas hat diesen Monat drei Entscheidungen zu treffen. Für die Umsatzprognose für seine Hausbank nimmt er den Mittelwert, 66 €, mal die erwarteten Bestellungen. Für die Grenze beim kostenlosen Versand nimmt er die Verteilung und zählt die Bestellungen, die eine kleine Strecke unter jeder Grenze liegen. Für den Newsletter an die Privatkunden nimmt er die mittlere Privatbestellung nach dem Median, etwa 35 €, und die Produkte rund um diesen Betrag, weil das kauft, wer den Newsletter typischerweise liest. Drei Entscheidungen, drei Zahlen, ein Satz Bestellungen.
Eine Routine, bevor ich einem Durchschnitt traue
Nichts davon braucht besondere Software, nur eine Gewohnheit. Bevor ein Durchschnitt in einen Bericht oder in eine Entscheidung wandert, gehe ich diese kurze Routine durch.
Das Diagramm liest sich von oben: zuerst die Entscheidung, dann die Form, dann Schiefe, Ausreißer und versteckte Gruppen, und erst ganz zum Schluss die Zahl.
Rechenbeispiel: Jonas' Monatsbericht, neu geschrieben
Vorher hatte Jonas' Monatsbericht eine Zeile zu den Bestellungen: "Durchschnittlicher Bestellwert 66 €, 3 % unter dem Vormonat."
Nach der Routine sind es drei kurze Zeilen:
"Privatkunden: 616 Bestellungen, typische Bestellung 35 € (mittlere Hälfte 26 € bis 58 €), Mittelwert 51 €. Gewerbe: 20 Bestellungen, Mittelwert 550 €. Conversion nach Gerät: Desktop 4,2 %, Mobil 1,6 %, gesamt 2,12 %, weil der mobile Traffic gewachsen ist."
Das dauert fünf Minuten länger. Dafür verliert er keinen Vormittag mehr an einen Rückgang um 3 %, der in Wahrheit drei Cafébestellungen weniger waren.
Der Punkt in einem Satz
Ein Durchschnitt ist eine Zusammenfassung, und jede Zusammenfassung wirft etwas weg. Bevor du nach einem handelst, schau dir also die Form an, aus der er stammt, stell den Median und eine Streuung daneben und prüf, ob die Summe Gruppen versteckt, die man getrennt vergleichen sollte.
Wenn du die Rechnung hinter diesen Gedanken ohne den Shop drumherum willst, fang mit den Grundlagen an, und für den größeren Werkzeugkasten mit der Statistik, die jeder Marketer wirklich braucht.
Footnotes
-
Barbara Illowsky und Susan Dean, Introductory Statistics 2e, Abschnitt 2.5 Measures of the Center of the Data, OpenStax, Rice University, Houston, 2023, https://openstax.org/books/introductory-statistics-2e/pages/2-5-measures-of-the-center-of-the-data
-
Barbara Illowsky und Susan Dean, Introductory Statistics 2e, Abschnitt 2.6 Skewness and the Mean, Median, and Mode, OpenStax, Rice University, Houston, 2023, https://openstax.org/books/introductory-statistics-2e/pages/2-6-skewness-and-the-mean-median-and-mode
-
NIST/SEMATECH, e-Handbook of Statistical Methods, Abschnitt 1.3.5.1 Measures of Location, National Institute of Standards and Technology, https://www.itl.nist.gov/div898/handbook/eda/section3/eda351.htm
-
Barbara Illowsky und Susan Dean, Introductory Statistics 2e, Abschnitt 2.7 Measures of the Spread of the Data, OpenStax, Rice University, Houston, 2023, https://openstax.org/books/introductory-statistics-2e/pages/2-7-measures-of-the-spread-of-the-data
-
NIST/SEMATECH, e-Handbook of Statistical Methods, Abschnitt 1.3.5.6 Measures of Scale, National Institute of Standards and Technology, https://www.itl.nist.gov/div898/handbook/eda/section3/eda356.htm
-
Barbara Illowsky und Susan Dean, Introductory Statistics 2e, Abschnitt 2.3 Measures of the Location of the Data, OpenStax, Rice University, Houston, 2023, https://openstax.org/books/introductory-statistics-2e/pages/2-3-measures-of-the-location-of-the-data
-
Jan Sprenger und Naftali Weinberger, Simpson's Paradox, Stanford Encyclopedia of Philosophy, 2021, überarbeitet 2026, https://plato.stanford.edu/entries/paradox-simpson/