Die Statistik, die jeder Marketer wirklich braucht

Kurz gesagt

Niveau: Einstieg

Die meisten Marketingreports ruhen auf einer Handvoll statistischer Ideen, und die meisten davon werden still falsch benutzt.

  • Frag, welcher Durchschnitt: der Mittelwert wird von ein paar großen Bestellungen hochgezogen, der Median zeigt den typischen Kunden.
  • Lies nie einen Mittelwert ohne seine Streuung und seinen Standardfehler.
  • Ein Konfidenzintervall handelt vom Mittelwert, nicht von einzelnen Bestellungen.
  • Ein p Wert ist nicht die Wahrscheinlichkeit, dass eine Behauptung stimmt, und eine Korrelation ist nie eine Ursache.

Jeder Marketingreport baut auf einer Handvoll statistischer Ideen, und die meisten davon werden still falsch benutzt. Hier gehe ich die durch, die du nicht überspringen kannst, von den drei Durchschnitten bis zur Korrelation, an den Dezemberbestellungen eines erfundenen Shops für Geschenkkörbe, und zeige, welche Entscheidung jede Zahl ändern sollte.

Der Wal im Geschenkkorb

Stell dir Lena vor. Sie betreibt Korbwerk, einen erfundenen Onlineshop für Geschenkkörbe in Hamburg, zu finden unter korbwerk.example. Jeden Dezember öffnet sie das Dashboard ihres Shops, liest "durchschnittlicher Bestellwert 102 €" und plant das Werbebudget fürs nächste Jahr um einen Warenkorb von 100 €. Dann zieht jemand die echten Bestellungen.

Von den 1.000 Bestellungen vor Weihnachten liegen rund 900 zwischen 30 € und 150 €. Ein paar tun das nicht. Eine Hamburger Anwaltskanzlei hat 40 Körbe für ihre Mandanten bestellt, eine Kölner Steuerberatung 25, und zwei Leipziger Firmen haben ihrer ganzen Belegschaft eine Geschenkbox geschickt. Zwanzig Bestellungen über 500 € bringen etwa ein Fünftel des Umsatzes. Nimm sie heraus, und der "durchschnittliche" Kunde gibt plötzlich 83 € aus, nicht 102 €.

Korbwerk und jede Zahl in diesem Artikel sind erfunden, damit ich jeden Schritt zeigen kann. Die Form aber ist echt. Ich habe sie in jedem Shop gesehen, den ich mir je angeschaut habe.

Der Abstand zwischen 102 € und 83 € ist kein Rundungsfehler. Er entscheidet, wie viel du für einen Klick zahlen kannst, ob die Grenze für den kostenlosen Versand bei 60 € oder bei 90 € liegt, und ob die Firmenbestellungen eine eigene Landingpage oder gleich einen eigenen Vertrieb verdienen. Statistik, die trockene Sorte, bei der du in der Schule vielleicht eingenickt bist, ist das Werkzeug, das dich davor bewahrt, eine Strategie auf eine Zahl zu bauen, die nur in einer Tabellenzelle existiert.

Wo dieser Artikel steht

Das ist das erste von 21 Kapiteln meiner Serie Marketing Analytics und der Auftakt zum ersten Teil, der fragt, wie Analytics überhaupt hilft (Kapitel 1 bis 3). Das nächste Kapitel, Konsumentenverhalten ist die Basis jeder Marketingstrategie, geht von den Zahlen zu den Menschen, die sie erzeugen.

Jede Definition hier ist auf der Seite Grundlagen von null an aufgebaut, mit einem eigenen Rechenbeispiel, und dort läuft derselbe erfundene Korbshop mit denselben Zahlen. Das wiederhole ich nicht. Dieser Artikel hat eine andere Aufgabe: welche Zahlen ein Marketer nicht überspringen kann und warum jede davon eine Entscheidung ändert. Wenn du vorher einen breiteren Rundgang durch die Rechnerei hinter Growth Marketing willst, ist die Mathematik hinter allem der sanftere Einstieg.

Drei Durchschnitte, und nur einer beschreibt den typischen Kunden

"Durchschnitt" ist nicht eine Sache. Es gibt drei gängige Maße für die Mitte einer Zahlenreihe, und sie beantworten verschiedene Fragen.

Der Mittelwert ist der, den alle ausrechnen: alles zusammenzählen und durch die Anzahl teilen.

xˉ=1n∑i=1nxi\bar{x} = \frac{1}{n}\sum_{i=1}^{n} x_i

Dabei ist xˉ\bar{x} (gesprochen "x quer") der Mittelwert, nn die Zahl der Bestellungen, xix_i der Wert der iiten Bestellung, und ∑\sum heißt "alles aufsummieren". Den ganzen Weg dorthin findest du unter Grundlagen: der Mittelwert.

Der Mittelwert hat eine schöne Eigenschaft und eine hässliche. Die schöne: mal nn genommen ergibt er den Gesamtumsatz, deshalb liebt ihn die Buchhaltung. Die hässliche: jede Bestellung zieht mit ihrem vollen Gewicht an ihm, eine Firmenbestellung über 2.400 € zieht also so stark wie 48 Bestellungen zu 50 €. In einem Shop mit einem langen Schwanz großer Bestellungen wandert der Mittelwert zu den Walen.

Der Median ist der mittlere Wert, wenn du alle Bestellungen von der kleinsten zur größten sortierst. Der Modus ist der häufigste Wert. Beide erklärt Grundlagen: Median und Modus.

Rechenbeispiel: Lenas drei Durchschnitte

Erster Schritt, der Mittelwert. Die 1.000 Dezemberbestellungen ergeben zusammen 102.000 €, also ist der Mittelwert 102.000/1.000=102102.000 / 1.000 = 102 €.

Zweiter Schritt, der Median. Sortiere die Bestellungen und nimm die mittlere. Bei Korbwerk liegt sie bei 68 €. Die Hälfte der Kunden hat weniger ausgegeben, die Hälfte mehr. Hätte die Kanzlei 24.000 € statt 2.400 € bestellt, der Median hätte sich um keinen Cent bewegt. Genau diese Robustheit ist der Grund, warum ich für "was gibt ein typischer Kunde aus" den Median nehme.

Dritter Schritt, der Modus. In einem Shop mit festen Preisen ist er meist der Preis des Bestsellers, hier der Klassik Korb für 49 €. Der Modus sagt dir, was dein Shop in den Augen der meisten Käufer ist: ein 49 € Shop, der ab und zu eine Bestellung über 2.400 € verkauft.

Vierter Schritt, alle drei zusammen lesen. Mittelwert 102 €, Median 68 €, Modus 49 €. Stehen sie in dieser Reihenfolge, der Mittelwert ganz oben und der Modus ganz unten, ist die Verteilung rechtsschief: ein langer Schwanz großer Werte zieht den Mittelwert zu sich hinaus.1 Fast jede Verteilung von Bestellwerten im eCommerce sieht so aus.

Wenn dir also jemand einen einzigen "durchschnittlichen Warenkorb" nennt, frag, welchen. Weiß er es nicht, war es der Mittelwert, und der ist zu hoch. Über genau diese Falle habe ich einen ganzen Artikel geschrieben, warum Durchschnitte dich anlügen, weil sie kleine Unternehmen jedes Jahr echtes Geld kostet.

Die Streuung sagt dir, ob du dem Mittelwert trauen kannst

Zwei Shops können denselben Mittelwert von 102 € haben und völlig verschiedene Geschäfte sein. Der eine verkauft alles zwischen 95 € und 110 €. Der andere verkauft Körbe zu 49 € und Firmenbestellungen zu 2.400 €. Du brauchst eine Zahl für die Streuung.

Die Varianz ist der durchschnittliche quadrierte Abstand zum Mittelwert:

s2=1n−1∑i=1n(xi−xˉ)2s^2 = \frac{1}{n-1}\sum_{i=1}^{n}(x_i - \bar{x})^2

Dabei ist s2s^2 die Stichprobenvarianz, xi−xˉx_i - \bar{x} der Abstand jeder Bestellung zum Mittelwert xˉ\bar{x}, das Quadrieren macht jeden Abstand positiv und bestraft große Abstände stärker als kleine, und die Division durch n−1n - 1 statt durch nn ist eine kleine Korrektur, weil der Mittelwert aus denselben Bestellungen geschätzt wurde. Warum n−1n - 1 funktioniert, steht unter Grundlagen: die Streuung.

Die Varianz misst in Euro zum Quadrat, und das kann sich niemand vorstellen. Also ziehen wir die Wurzel:

s=s2s = \sqrt{s^2}

Dabei ist ss die Standardabweichung, wieder in Euro, und s2s^2 die Varianz aus der Zeile darüber. Siehe Grundlagen: die Streuung.

Zuletzt setzt der Variationskoeffizient die Streuung ins Verhältnis zum Mittelwert:

CV=sxˉCV = \frac{s}{\bar{x}}

Dabei ist CVCV der Variationskoeffizient, ss die Standardabweichung und xˉ\bar{x} der Mittelwert. Er hat keine Einheit, also kannst du einen Korbshop mit einer Softwarefirma vergleichen. Er ist der letzte Teil von Grundlagen: die Streuung.

Rechenbeispiel: wie breit Lenas Bestellungen streuen

Für die 1.000 Bestellungen liegt die Standardabweichung bei etwa 158 €. Ja, größer als der Mittelwert. Das macht ein langer Schwanz. So sieht die ganze Verteilung aus:

Bestellungen bei Korbwerk nach WertVon 1.000 erfundenen Dezemberbestellungen liegen die meisten zwischen 40 € und 100 €. Die Zahlen fallen ab auf 55 zwischen 150 € und 250 €, 25 zwischen 250 € und 500 € und 20 über 500 €.1.000 Dezemberbestellungen nach Wert0125250375500110unter4029040 bis6024060 bis8015080 bis100110100 bis15055150 bis25025250 bis50020über500BestellungenBestellwert in €

Die waagerechte Achse zeigt Klassen des Bestellwerts in Euro, die senkrechte, wie viele Bestellungen in jede Klasse fielen. Achte auf die ungleichen Klassenbreiten: der letzte Balken umfasst alles von 500 € bis 2.400 € und enthält nur 20 Bestellungen, und doch tragen diese 20 Bestellungen etwa ein Fünftel des Umsatzes. Der Gipfel liegt bei 40 € bis 60 €, dort, wo der Bestseller für 49 € wohnt.

Der Variationskoeffizient ist CV=158/102≈1,55CV = 158 / 102 \approx 1{,}55. Alles über 1 sagt mir, dass der Mittelwert keine brauchbare Beschreibung einer typischen Bestellung ist.

Vergleich das mit einer erfundenen Münchner Softwarefirma mit drei Tarifen zu 29 €, 59 € und 119 € im Monat, und die Kundenkonten verteilen sich gleichmäßig auf alle drei. Ihr Mittelwert ist (29+59+119)/3=69(29 + 59 + 119) / 3 = 69 €. Die Abstände zum Mittelwert sind minus 40 €, minus 10 € und 50 €, ihre Quadrate ergeben im Schnitt etwa 1.400, die Streuung liegt also bei rund 1.400≈37\sqrt{1.400} \approx 37 € und CV≈37/69≈0,54CV \approx 37 / 69 \approx 0{,}54. Dort ist der mittlere Umsatz pro Konto eine völlig brauchbare Zahl.

Diese Übersicht würde ich auf die erste Seite jedes eCommerce Reports setzen:

KennzahlWertWas sie dir sagt
Bestellungen1.000Die Stichprobengröße, immer zuerst
Mittelwert102 €Umsatz pro Bestellung, treibt die Summe
Median68 €Was ein typischer Kunde ausgibt
Modus49 €Der Preis des Bestsellers
Standardabweichung158 €Streuung, hier größer als der Mittelwert
Variationskoeffizient1,55Streuung im Verhältnis zum Mittelwert, über 1 heißt "dem Mittelwert nicht allein trauen"
Minimum18 €Ein einzelnes Glas Chutney
Maximum2.400 €Die Hamburger Kanzlei
Bestellungen über 500 €20 (2 %)Etwa 20 % des Umsatzes

Lies sie von oben nach unten. Mittelwert und Median liegen um ein Drittel auseinander, die Verteilung ist also schief. Die Standardabweichung übersteigt den Mittelwert, die Schiefe ist also kräftig. Die letzte Zeile nennt den Verursacher: 2 % der Bestellungen, 20 % des Geldes. Schon diese eine Tabelle sagt dir, dass in Korbwerk zwei Geschäfte stecken, ein Geschenkeshop mit 68 € und ein Service für Firmengeschenke, und die sollten sich wahrscheinlich kein gemeinsames Werbebudget teilen. Ein späteres Kapitel über Segmentierung macht diese Trennung sauber.

Die Glockenkurve und die Regel 68, 95, 99,7

Die Normalverteilung ist die symmetrische Glockenform, die du aus der Schule kennst. Sie ist durch zwei Zahlen vollständig beschrieben, ihren Mittelwert μ\mu und ihre Standardabweichung σ\sigma, und sie bringt eine Faustregel mit, die man sich merken sollte: etwa 68 % der Werte liegen höchstens eine Standardabweichung vom Mittelwert entfernt, etwa 95 % höchstens zwei und etwa 99,7 % höchstens drei.2

Die Regel 68, 95, 99,7In einer Normalverteilung liegen etwa 68 % der Werte höchstens eine Standardabweichung vom Mittelwert entfernt, etwa 95 % höchstens zwei und etwa 99,7 % höchstens drei.Anteil der Werte nahe am Mittelwert in einer Normalverteilung0 %50 %100 %150 %200 %68 %bis 1 sd95 %bis 2 sd99,7 %bis 3 sdAnteil der Werte in %Abstand vom Mittelwert in Standardabweichungen

Die waagerechte Achse zeigt, wie weit vom Mittelwert du schaust, gemessen in Standardabweichungen (sd), und die senkrechte, welcher Anteil aller Werte innerhalb dieses Abstands liegt. Die Lehre daraus: in einer normalverteilten Welt ist ein Wert mehr als zwei Standardabweichungen vom Mittelwert ungefähr ein Ereignis von eins zu zwanzig, und jenseits von drei eines von eins zu 370.

Um einen einzelnen Wert auf dieser Kurve einzuordnen, machst du aus ihm einen z Wert:

z=x−μσz = \frac{x - \mu}{\sigma}

Dabei ist xx der Wert, den du betrachtest, μ\mu der Mittelwert und σ\sigma die Standardabweichung der Gruppe, aus der er stammt. zz zählt also, wie viele Standardabweichungen xx über oder unter dem Mittelwert liegt, egal in welcher Einheit. Kurve und z Wert stehen unter Grundlagen: Verteilungen.

Rechenbeispiel: eine auffallend treue Newsletter Leserin

Eine Kundin von Korbwerk hat letztes Jahr 15 Newsletter geöffnet. Über alle Abonnenten liegt der Mittelwert bei 6 Öffnungen und die Standardabweichung bei 4. Also z=(15−6)/4=2,25z = (15 - 6) / 4 = 2{,}25. Sie liegt zweieinviertel Standardabweichungen über dem Mittelwert: ungewöhnlich engagiert, unter den obersten 1 % oder 2 %, wenn Öffnungen normalverteilt wären.

Bestellwerte sind nicht normalverteilt, und das ist in Ordnung

Jetzt der unbequeme Teil. Sind Bestellwerte normalverteilt? Nicht im Geringsten. Wären sie es, mit einem Mittelwert von 102 € und einer Standardabweichung von 158 €, dann läge nach der Regel 68 etwa ein Sechstel aller Bestellungen unter minus 56 €. Niemand bezahlt Lena dafür, einen Korb mitzunehmen. Das Histogramm oben ist schief, bei null begrenzt und rechts schwer, und kein Wunschdenken macht daraus eine Glocke.

Warum bringt dann trotzdem jeder Marketern die Normalkurve bei? Wegen des nächsten Abschnitts.

Der Standardfehler: warum der Mittelwert eines schiefen Shops sich trotzdem benimmt

Stell dir vor, du ziehst 1.000 zufällige Dezemberbestellungen, rechnest den Mittelwert aus, machst das Ganze mit frischen 1.000 noch einmal und dann wieder, tausende Male. Jeder Stichprobenmittelwert käme ein wenig anders heraus. Die Streuung dieser Stichprobenmittelwerte heißt Standardfehler:

SE=snSE = \frac{s}{\sqrt{n}}

Dabei ist SESE der Standardfehler des Mittelwerts, ss die Standardabweichung der einzelnen Bestellungen und nn die Zahl der Bestellungen in der Stichprobe. Schritt für Schritt aufgebaut wird er unter Grundlagen: Stichproben.

Und hier ist der Punkt, der die ganze Lektion über die Glockenkurve rechtfertigt. Die Verteilung dieser Stichprobenmittelwerte ist annähernd normal, auch wenn die einzelnen Werte es nicht sind. Dieses Ergebnis ist der zentrale Grenzwertsatz.3 Er ist der Grund, warum Konfidenzintervalle und Signifikanztests auf unordentlichen, schiefen Marketingdaten funktionieren. Der einzelne Kunde ist nicht normalverteilt. Der Durchschnitt vieler Kunden schon.

Eine Korrektur an der Art, wie das oft gelehrt wird. Die Faustregel aus dem Hörsaal sagt, etwa 30 Beobachtungen reichen. Für leicht schiefe Daten stimmt das, aber eine Simulationsstudie zu schiefen Verteilungen hat gezeigt, dass stark schiefe Daten deutlich mehr als 100 Beobachtungen brauchen können, bevor die Näherung durch die Normalverteilung hält.4 Bestellwerte sind ungefähr so schief, wie Geschäftsdaten nur werden können. Begegne einem Mittelwert aus ein paar Dutzend Bestellungen also mit Misstrauen und einem aus ein paar hundert mit vernünftigem Vertrauen.

Rechenbeispiel: wie genau Lenas Mittelwert ist

Die Standardabweichung der Bestellungen liegt bei 158 €, und es sind 1.000 Stück, also SE=158/1.000=158/31,6≈5,0SE = 158 / \sqrt{1.000} = 158 / 31{,}6 \approx 5{,}0 €. Einzelne Bestellungen streuen um 158 €, der Mittelwert aus 1.000 von ihnen aber nur um etwa 5 €.

Die Wurzel im Nenner hat eine geschäftliche Folge, die ich Kunden jeden Monat erkläre. Um deine Unsicherheit zu halbieren, brauchst du viermal so viele Daten. Um sie auf ein Zehntel zu drücken, hundertmal so viele.

Standardfehler und StichprobengrößeBei einer Standardabweichung von 158 € fällt der Standardfehler des mittleren Bestellwerts von 15,80 € bei 100 Bestellungen auf 7,90 € bei 400, 4,00 € bei 1.600 und 2,00 € bei 6.400 Bestellungen.Standardfehler des mittleren Bestellwerts (sd 158 €)0 €5 €10 €15 €20 €1002004008001.6003.2006.400Standardfehler in €Standardfehler in €Bestellungen in der Stichprobe

Die waagerechte Achse zeigt die Zahl der Bestellungen, die sich mit jedem Schritt verdoppelt, die senkrechte den Standardfehler des Mittelwerts in Euro. Jede Verdopplung senkt den Fehler nur um etwa 29 %. Die ersten 400 Bestellungen kaufen dir den größten Teil der Genauigkeit, die du je bekommen wirst. Die nächsten 6.000 kaufen erstaunlich wenig.

Konfidenzintervalle versprechen etwas über die Methode

Ein Konfidenzintervall macht aus dem Standardfehler einen Bereich, den du in eine Entscheidungsvorlage schreiben kannst:

xˉ±z×sn\bar{x} \pm z \times \frac{s}{\sqrt{n}}

Dabei ist xˉ\bar{x} der Stichprobenmittelwert, s/ns / \sqrt{n} der Standardfehler und zz der Faktor für das gewünschte Konfidenzniveau: 1,6451{,}645 für 90 %, 1,961{,}96 für 95 % und etwa 2,582{,}58 für 99 %.5 Die vollständige Herleitung steht unter Grundlagen: Konfidenzintervalle.

Eine Verfeinerung. Streng genommen kommt der Faktor immer dann, wenn die Standardabweichung aus der Stichprobe selbst geschätzt wird, und im Marketing ist das immer so, aus der t Verteilung nach Student, die mehr Gewicht in ihren Rändern hat als die Normalkurve.6 Bei ein paar hundert Bestellungen ist der Unterschied vernachlässigbar. Bei ein paar Dutzend zählt er, und jede Statistikbibliothek erledigt das für dich.

Rechenbeispiel: das Intervall um 102 €

102±1,96×5,0=102±9,8102 \pm 1{,}96 \times 5{,}0 = 102 \pm 9{,}8, das 95 % Intervall reicht also von 92,20 € bis 111,80 €.

Was ein 95 % Intervall verspricht: würdest du die ganze Übung sehr oft wiederholen, dann enthielten etwa 95 % der so berechneten Intervalle den wahren Mittelwert.5 Was es nicht verspricht: dass 95 % der Bestellungen darin liegen. Das tun sie nicht. Das Intervall handelt vom Mittelwert, nicht von einzelnen Bestellungen, und die reichen von 18 € bis 2.400 €. Verzeih einer Agentur, wenn sie bei den Feinheiten stolpert, das passiert mir auch, wenn ich müde bin. Verzeih keiner, die nie ein Intervall berichtet.

Rechenbeispiel: zwei Kampagnen und ein Newsletter

Hier verdienen sich Intervalle ihr Geld. Im November liefen zwei erfundene Meta Kampagnen: "Familienweihnacht" für Leute, die verschenken, und "Gönn dir was" für Leute, die für sich selbst kaufen. Der Newsletter ist der eigene Kanal. Im Report der Agentur stand, "Gönn dir was" habe einen um 7 € höheren Warenkorb gebracht und solle mehr Budget bekommen.

KanalBestellungenMittelwertMedianStandardabweichungStandardfehler95 % Intervall für den Mittelwert
Familienweihnacht (Meta)18074 €62 €38 €2,83 €68,50 € bis 79,50 €
Gönn dir was (Meta)9581 €59 €61 €6,26 €68,70 € bis 93,30 €
Newsletter (eigener Kanal)24069 €64 €30 €1,94 €65,20 € bis 72,80 €

Jeder Standardfehler ist die Standardabweichung geteilt durch die Wurzel aus der Zahl der Bestellungen, zum Beispiel 38/180=38/13,4≈2,8338 / \sqrt{180} = 38 / 13{,}4 \approx 2{,}83. Jedes Intervall ist der Mittelwert plus oder minus 1,96 Standardfehler, zum Beispiel 74±1,96×2,83=74±5,574 \pm 1{,}96 \times 2{,}83 = 74 \pm 5{,}5.

Lies Zeile für Zeile. Familienweihnacht hat 180 Bestellungen und eine mäßige Streuung, das Intervall ist also eng, etwa plus oder minus 5,50 €. Gönn dir was hat weniger Bestellungen und eine größere Streuung (ein paar Leute haben mehrere Körbe auf einmal gekauft), und das Intervall ist mehr als doppelt so breit. Die beiden Intervalle überlappen sich fast vollständig. Der Newsletter hat den niedrigsten Mittelwert, aber das engste Intervall, weil er die meisten Bestellungen und die ruhigsten Kunden hat.

Schau auch auf die Mediane. Gönn dir was hat den höchsten Mittelwert, aber den niedrigsten Median. Sein "höherer Warenkorb" besteht aus einer Handvoll großer Bestellungen, nicht aus einem typischen Kunden, der mehr ausgibt.

Ein p Wert sagt etwas über die Daten, nicht über die Behauptung

Um den Abstand von 7 € sauber zu prüfen, fragst du, wie groß er im Vergleich zum Rauschen ist, das du ohnehin erwarten würdest. Der Rest der Methode steht unter Grundlagen: Hypothesentests.

Rechenbeispiel: sind die 7 € echt?

Erster Schritt, der Standardfehler des Unterschieds zwischen den beiden Mittelwerten: 2,832+6,262=8,0+39,2=47,2≈6,87\sqrt{2{,}83^2 + 6{,}26^2} = \sqrt{8{,}0 + 39{,}2} = \sqrt{47{,}2} \approx 6{,}87.

Zweiter Schritt, der z Wert: 7/6,87≈1,027 / 6{,}87 \approx 1{,}02. Der Abstand ist ungefähr einen Standardfehler breit.

Dritter Schritt, der p Wert. Ein z von 1,02 lässt auf jeder Seite etwa 15 % der Normalkurve jenseits von sich, der zweiseitige p Wert liegt also bei rund 0,31.

Schlicht gelesen heißt dieser p Wert: brächten beide Kampagnen in Wahrheit denselben Warenkorb, dann sähest du einen Abstand von 7 € oder mehr etwa jedes dritte Mal, allein durch die zufällige Mischung derer, die gerade geklickt haben. Das ist kein Beleg. Das ist ein Dienstag.

Der p Wert ist nicht "die Wahrscheinlichkeit, dass die Kampagnen gleich sind", und er ist nicht "die Wahrscheinlichkeit, dass die Agentur falsch liegt". Die American Statistical Association hat es in ihrer Stellungnahme von 2016 klar gesagt: p Werte messen weder die Wahrscheinlichkeit, dass die untersuchte Hypothese wahr ist, noch die Wahrscheinlichkeit, dass die Daten allein durch Zufall entstanden sind.7 Er ist die Wahrscheinlichkeit für Daten, die mindestens so extrem sind, wenn es keinen echten Unterschied gäbe.

Vierter Schritt, wie viele Daten die Frage klären würden. Um einen echten Abstand von 7 € bei diesen Streuungen zu erkennen, auf dem üblichen Signifikanzniveau von 5 % und mit 80 % Teststärke, brauchst du etwa (1,96+0,84)2×(382+612)/72=7,84×5.165/49≈830(1{,}96 + 0{,}84)^2 \times (38^2 + 61^2) / 7^2 = 7{,}84 \times 5.165 / 49 \approx 830 Bestellungen pro Kampagne. Die Logik dieser Rechnung steht unter Grundlagen: die Stichprobengröße. Gönn dir was hatte 95. Mehr dazu, auch warum 0,05 eine Konvention ist und kein Naturgesetz, steht in die Bedeutung von statistischer Signifikanz und Fehlermargen.

Die ehrliche Entscheidungsvorlage sagt: "Kein erkennbarer Unterschied in der Warenkorbgröße zwischen den beiden Kampagnen. Entscheide nach etwas, das der Shop mit mehr Sicherheit messen kann, etwa den Kosten pro Bestellung, oder lass beide laufen, bis jede rund 830 Bestellungen hat." Das ist eine echte Entscheidung, getroffen mit einer Zahl und einem Risiko, und sie schlägt jede Budgetverschiebung auf Rauschen.

Korrelation: Vorzeichen, Stärke und die Kausalitätsfalle

Bis hierhin hat jede Zahl eine einzelne Größe beschrieben. Marketing handelt von Paaren: bewegt das Budget den Umsatz, bewegen Mailöffnungen die Wiederholungskäufe, bewegen Rabatte die Warenkorbgröße. Der Korrelationskoeffizient nach Pearson misst, wie eng zwei Größen sich entlang einer geraden Linie gemeinsam bewegen:

r=∑i=1n(xi−xˉ)(yi−yˉ)∑i=1n(xi−xˉ)2  ∑i=1n(yi−yˉ)2r = \frac{\sum_{i=1}^{n}(x_i - \bar{x})(y_i - \bar{y})}{\sqrt{\sum_{i=1}^{n}(x_i - \bar{x})^2}\;\sqrt{\sum_{i=1}^{n}(y_i - \bar{y})^2}}

Dabei sind xix_i und yiy_i die beiden Messungen für Kunde ii, xˉ\bar{x} und yˉ\bar{y} ihre Mittelwerte und nn die Zahl der Kunden. Der Zähler misst, wie sich die beiden gemeinsam bewegen, der Nenner teilt ihre Einheiten weg, und deshalb landet rr immer zwischen minus 1 und plus 1.8 Die vollständige Herleitung steht unter Grundlagen: Korrelation.

Lies zwei Dinge getrennt. Das Vorzeichen sagt dir die Richtung. Der Betrag sagt dir die Stärke. Und r2r^2 sagt dir, welchen Anteil der Schwankung in der einen Größe eine gerade Linie durch die andere erklären kann.8

Rechenbeispiel: vier Korrelationen bei Korbwerk

Nimm 640 erfundene Kunden, die zwölf Monate lang den Newsletter bekommen haben:

Größenpaarrr QuadratEhrliche Lesart
Newsletter Öffnungen und Wiederholungskäufe0,310,10Positiv, bescheiden. Öffnungen gehen mit Nachbestellungen einher, erklären aber ein Zehntel der Schwankung
Rabatthöhe und Bestellwertminus 0,420,18Negativ, mittel. Größere Rabatte, kleinere Warenkörbe
Seiten pro Sitzung und Bestellwert0,080,01Praktisch nichts
Wert der ersten und der zweiten Bestellung0,560,31Stark für Marketingdaten. Wer groß anfängt, bleibt groß

Jedes r2r^2 ist einfach rr zum Quadrat, zum Beispiel 0,312=0,0960{,}31^2 = 0{,}096, gerundet 0,10.

Auf die erste Zeile will jeder sofort reagieren: "Öffnungen treiben Wiederholungskäufe, also mehr Mails schicken." Langsam. Kunden, die Geschenkkörbe lieben, öffnen den Newsletter und bestellen nach, und die Liebe verursacht beides. Kunden, die gleich eine Firmenbestellung aufgeben wollen, öffnen die Mail, um die Telefonnummer zu finden. Eine Korrelation kann "Mails verursachen Nachbestellungen" nicht von "Nachbestellungen verursachen Mailöffnungen" und nicht von "etwas Drittes verursacht beides" trennen.8 Die einzige saubere Antwort ist ein Holdout Test, bei dem eine zufällige Gruppe keine Mail bekommt, und das ist die Aufgabe eines späteren Kapitels über statistische Tests. Was dir die Korrelation einbringt, ist eine Hypothese, die einen Test wert ist, und eine grobe Obergrenze dafür, wie viel sie ausmachen könnte.

Zwei Warnungen, die ständig zubeißen. Pearsons rr sieht nur gerade Linien.9 Ein Zusammenhang, der erst steigt und dann fällt, etwa die Anzeigenfrequenz gegen die Conversion, kann ein rr nahe null haben und trotzdem sehr real sein. Und ein einzelner Wal kann aus dem Nichts eine Korrelation herstellen: ein Kunde mit 30 Öffnungen und sechs Bestellungen zieht rr in einem Datensatz von 640 nach oben, und das ist die Schwäche des Mittelwerts in anderer Verkleidung. Zeichne es immer, bevor du es zitierst.

So rechnest du das mit deinen eigenen Bestellungen

Du brauchst kein Data Warehouse. Du brauchst die Bestelltabelle und einen Nachmittag.

In einem Solidus Shop liegen die Bestellungen in einer Tabelle, spree_orders, mit dem Bestellbetrag und dem Zeitpunkt des Abschlusses in jeder Zeile.10 In einer PostgreSQL Datenbank sind der Median und die Stichprobenstandardabweichung eingebaute Aggregatfunktionen:11

select
  count(*)                                             as orders,
  avg(total)                                           as mean_value,
  percentile_cont(0.5) within group (order by total)   as median_value,
  stddev_samp(total)                                   as sd,
  stddev_samp(total) / sqrt(count(*))                  as standard_error,
  min(total), max(total),
  count(*) filter (where total > 500)                  as whales
from spree_orders
where state = 'complete'
  and completed_at >= date '2025-11-01'
  and completed_at <  date '2026-01-01';

Teil das dann nach Kanal auf (die UTM Quelle, die du an der Bestellung speicherst, oder ein Kampagnenfeld), und du hast die Kampagnentabelle von oben. Für die Intervalle und die Korrelation reichen ein paar Zeilen Python mit SciPy, dessen pearsonr sowohl rr als auch den p Wert zurückgibt:9

import numpy as np
from scipy import stats

def mean_ci(x, level=0.95):
    x = np.asarray(x, dtype=float)
    n = len(x)
    se = x.std(ddof=1) / np.sqrt(n)
    t = stats.t.ppf((1 + level) / 2, df=n - 1)
    return x.mean(), x.mean() - t * se, x.mean() + t * se

mean_a, lo_a, hi_a = mean_ci(orders_family["total"])
mean_b, lo_b, hi_b = mean_ci(orders_treat["total"])
r, p = stats.pearsonr(customers["opens"], customers["repeat_orders"])

Welche Daten du brauchst: eine Zeile pro Bestellung mit Wert, Datum, Kanal und Kundennummer, und eine Zeile pro Kunde mit den Engagement Werten, die dich interessieren. Zwölf Monate reichen für einen ersten Durchgang. Mit weniger als neunzig Tagen lügt dich die Saisonalität an.

Wie lange es dauert: einen Nachmittag, um die Zahlen zu ziehen, einen Tag, um über die Definitionen zu streiten (ist eine erstattete Bestellung eine Bestellung, zählt eine Firmenrechnung als eine Bestellung oder als vierzig). Das Streiten ist der wertvolle Teil.

Prüfungen, bevor du dem Ergebnis traust:

  1. Zeichne das Histogramm, bevor du irgendetwas ausrechnest. Deine Augen finden einen Datenfehler (Testbestellungen, vermischte Währungen, doppelte Zeilen) schneller als jede Kennzahl.
  2. Vergleich den Mittelwert mit dem Median. Liegen sie mehr als 20 % auseinander, berichte beide.
  3. Prüf die Stichprobengröße jeder Gruppe, bevor du Gruppen vergleichst.
  4. Finde die Wale und entscheide schriftlich, ob sie in die Analyse gehören oder in eine eigene.
  5. Berichte nie einen Mittelwert ohne Standardfehler oder Intervall daneben.

Fehler, die ich immer wieder sehe

Den Mittelwert einer schiefen Größe berichten, als wäre er typisch. Durchschnittlicher Bestellwert, durchschnittliche Sitzungsdauer, durchschnittlicher Kundenwert über die Lebensdauer: alle rechtsschief, alle von einem Schwanz aufgebläht. Berichte den Median daneben, oder modelliere den Logarithmus des Werts, was ein späteres Kapitel über Preiselastizität tut und was nebenbei auch die Mathematik in Ordnung bringt.

Gruppen ohne ihre Stichprobengrößen vergleichen. Eine Kampagne mit 40 Bestellungen und einem Warenkorb von 95 € schlägt keine mit 900 Bestellungen und 80 €. Sie ist ein Münzwurf mit einer guten Geschichte. Die Breite des Intervalls ist das ehrliche Maß dafür, wie viel eine Zahl sagen darf.

Einen p Wert als Wahrscheinlichkeit lesen, dass eine Behauptung stimmt. Er ist eine Aussage über die Daten unter der Annahme, dass es keinen Effekt gibt, nicht über die Behauptung.7 Und wer denselben Vergleich jeden Tag laufen lässt und in dem Moment aufhört, in dem er unter 0,05 rutscht, "findet" irgendwann einen Effekt, den es nicht gibt, weil wiederholtes Nachschauen die Rate falscher Treffer aufbläht.12 Leg die Stichprobengröße vorher fest.

Die Streuung einzelner Werte mit der Streuung des Mittelwerts verwechseln. "Unsere Kunden geben 102 € aus, plus minus 10 €" ist eine Aussage über den Mittelwert. Einzelne Kunden geben alles zwischen 18 € und 2.400 € aus. Wer einen Lagerbestand oder eine Betrugsschwelle aus dem Intervall für den Mittelwert ableitet, liegt oft daneben.

Die Wale stillschweigend weglassen. Die 20 Firmenbestellungen auszuschließen ist legitim und oft richtig, aber es verschiebt den Mittelwert um ein Fünftel. Sag es im Report, jedes Mal, und führe eine zweite Tabelle mit ihnen.

Wie ich das für Kunden mache

Wenn mich ein Kunde bittet, "mal auf die Zahlen zu schauen", ist das erste Ergebnis genau der Stoff dieses Kapitels, angewendet auf seine eigenen Daten, kein Modell. Es beginnt mit dem kostenlosen Workshop, in dem wir festlegen, welche Entscheidung die Zahlen ändern sollen: Werbebudget, Versandgrenze, ob die Firmenbestellungen einen eigenen Funnel verdienen. Danach kommen zwei Wochen echte Arbeit auf meine Rechnung.

Ich brauche Lesezugriff auf die Bestelltabelle (Solidus, Shopify, WooCommerce, oder einen CSV Export, wenn es nur den gibt), die Werbeausgaben pro Kanal und Woche und die Daten zum Kundenengagement, die ohnehin schon erhoben werden. Ich brauche kein Data Warehouse, keinen Umbau des Tag Managers und kein neues Tool.

Zurück kommt ein kurzes Dokument statt eines Dashboards: die Übersichtstabelle von oben für das ganze Geschäft und für jeden Kanal und jedes Segment, jeder Mittelwert mit seinem Intervall und dem Median daneben, eine Seite Korrelationen mit Streudiagrammen und einer offenen Notiz, welche davon einen Test wert sind, und eine Entscheidungsvorlage, die sagt: "Tu das, erwarte ungefähr das, das ist das Risiko." Wo die Antwort lautet "du hast nicht genug Daten, um das zu wissen", steht das da, mit der Zahl der Bestellungen, die du bräuchtest. Jede Abfrage und jedes Diagramm gehört dir. Sie liegen in deinem Repository, nicht in meinem.

Sind diese zwei Wochen nützlich, wird daraus meist laufende Arbeit in Data Science oder im Performance Marketing, wo ich die Kampagnen an den Intervallen steuere statt an den Durchschnitten. Die kaufmännischen Bedingungen stehen auf der Preisseite.

Fragen an dein Team oder deine Agentur

  1. Wenn ihr "durchschnittlicher Warenkorb" sagt, ist das der Mittelwert oder der Median, und wie weit liegen die beiden auseinander?
  2. Wie groß ist die Standardabweichung, und wie viele Bestellungen liegen mehr als zwei davon über dem Mittelwert?
  3. Wie viele Bestellungen stecken in jeder Gruppe, die ihr vergleicht, und wie lautet das Konfidenzintervall für jeden Mittelwert?
  4. Was müsstet ihr sehen, und wie viele Bestellungen bräuchte es, um sicher zu sein, dass der Unterschied echt ist?
  5. Habt ihr die Verteilung gezeichnet, bevor ihr irgendetwas aus ihr berechnet habt?
  6. Welche Korrelationen in diesem Report haben eine plausible ursächliche Geschichte, und welche davon würdet ihr wirklich mit einem Holdout testen?
  7. Wurden Bestellungen ausgeschlossen, und zeigt der Report die Zahlen mit und ohne sie?

Die Serie ist angeregt von Mike Grigsbys Buch Marketing Analytics.13 Die Erklärungen, Beispiele und Zahlen hier sind meine eigenen.

Footnotes

  1. Barbara Illowsky, Susan Dean und andere, Introductory Statistics 2e, Abschnitt 2.6 Skewness and the Mean, Median, and Mode, OpenStax, 2023, https://openstax.org/books/introductory-statistics-2e/pages/2-6-skewness-and-the-mean-median-and-mode

  2. Barbara Illowsky, Susan Dean und andere, Introductory Statistics 2e, Abschnitt 6.1 The Standard Normal Distribution, OpenStax, 2023, https://openstax.org/books/introductory-statistics-2e/pages/6-1-the-standard-normal-distribution

  3. Barbara Illowsky, Susan Dean und andere, Introductory Statistics 2e, Abschnitt 7.1 The Central Limit Theorem for Sample Means (Averages), OpenStax, 2023, https://openstax.org/books/introductory-statistics-2e/pages/7-1-the-central-limit-theorem-for-sample-means-averages

  4. Sinha Aziz, H. M. Nayem und B. M. Golam Kibria, Sample Size Requirements for the Central Limit Theorem for Skewed Distributions: A Simulation Study, Journal of Statistical Modeling and Analytics, Band 7, Heft 2, 2025, https://ajap.um.edu.my/index.php/JOSMA/article/view/63192

  5. Barbara Illowsky, Susan Dean und andere, Introductory Statistics 2e, Abschnitt 8.1 A Single Population Mean using the Normal Distribution, OpenStax, 2023, https://openstax.org/books/introductory-statistics-2e/pages/8-1-a-single-population-mean-using-the-normal-distribution

  6. Barbara Illowsky, Susan Dean und andere, Introductory Statistics 2e, Abschnitt 8.2 A Single Population Mean using the Student t Distribution, OpenStax, 2023, https://openstax.org/books/introductory-statistics-2e/pages/8-2-a-single-population-mean-using-the-student-t-distribution

  7. American Statistical Association, American Statistical Association releases statement on statistical significance and P values, 2016, https://www.amstat.org/asa/files/pdfs/p-valuestatement.pdf

  8. Barbara Illowsky, Susan Dean und andere, Introductory Statistics 2e, Abschnitt 12.3 The Regression Equation, OpenStax, 2023, https://openstax.org/books/introductory-statistics-2e/pages/12-3-the-regression-equation

  9. SciPy Entwickler, scipy.stats.pearsonr, SciPy Dokumentation, 2025, https://docs.scipy.org/doc/scipy/reference/generated/scipy.stats.pearsonr.html

  10. Solidus Contributors, Spree::Order model (core/app/models/spree/order.rb), Quellcode von Solidus auf GitHub, 2025, https://github.com/solidusio/solidus/blob/main/core/app/models/spree/order.rb

  11. PostgreSQL Global Development Group, Aggregate Functions, PostgreSQL Dokumentation, 2025, https://www.postgresql.org/docs/current/functions-aggregate.html

  12. Evan Miller, How Not To Run an A/B Test, evanmiller.org, 2010, https://www.evanmiller.org/how-not-to-run-an-ab-test.html

  13. Mike Grigsby, Marketing Analytics: A Practical Guide to Improving Consumer Insights Using Data Techniques, Kogan Page, 2022, ISBN 9781398608191, https://www.netgalley.co.uk/catalog/book/267990

Wenn dein Dashboard einen durchschnittlichen Warenkorb zeigt und dir niemand sagen kann, ob das der Mittelwert oder der Median ist, bring deinen Bestellexport in meinen kostenlosen Workshop. Wir legen fest, welche Entscheidung die Zahlen ändern sollen, und dann baue ich dir in zwei Wochen echter Arbeit auf meine Rechnung die Übersichtstabelle aus diesem Kapitel für deinen eigenen Shop, die Wale markiert und jeder Mittelwert mit seinem Intervall.