Kausale Inferenz im Marketing: von der Korrelation zur Ursache mit Propensity Scores und Instrumentvariablen

Eine Kampagne lief, der Umsatz stieg. Das beweist weniger, als es scheint.

Eine Loyalitätsmail geht raus. Wer sie bekommen hat, kauft danach mehr als wer sie nicht bekommen hat. Im Bericht steht, die Mail hat funktioniert, und auf diesem einen Satz wird das nächste Budget gebaut.

Vielleicht stimmt das sogar. Nur geht die Mail selten zufällig raus. Jemand hat die Kundinnen und Kunden ausgesucht, die am vielversprechendsten aussahen, und die hätten sowieso mehr gekauft. Im Vergleich stecken also zwei Dinge auf einmal: was die Mail bewirkt hat, und wen man für sie ausgewählt hat. Korrelation ist diese Mischung. Kausalität ist nur der erste Teil davon.

Kausale Inferenz ist das Werkzeug, um beides zu trennen. Wenn du einen sauberen, zufällig aufgeteilten Test fahren kannst, mach genau das (die Möglichkeiten stehen im kompletten Leitfaden zu digitalen Testmethoden). Dieser Artikel ist für die Fälle, in denen das nicht geht und die Daten schon da sind. Ich arbeite mit drei Ideen: den potenziellen Ergebnissen, die festlegen, was "der Effekt" überhaupt heißt, dem Propensity Score Matching, das Gleiches mit Gleichem vergleicht, und den Instrumentvariablen, die sich Zufall von einer unerwarteten Stelle borgen. Ein Kausaldiagramm hält die drei zusammen.

Durch den ganzen Text begleitet uns ein erfundenes Unternehmen. Die Naschkiste Ehrenfeld ist eine Abobox für Snacks aus Köln, geführt von Hanna. Sie hat 10.000 Kundinnen und Kunden. Niemand davon ist echt, alle Zahlen sind ausgedacht, damit ich jeden Rechenschritt zeigen kann. Hannas Frage ist schlicht: Hat die Loyalitätsmail Nachbestellungen ausgelöst, und wenn ja, wie viele Euro davon?

Der Effekt, den du suchst, ist ein Vergleich, den du nie siehst

Am saubersten definiert man einen kausalen Effekt mit dem Modell der potenziellen Ergebnisse (Potential Outcomes). Donald Rubin hat es in den 1970er Jahren ausgearbeitet, aufbauend auf einer Notation, die Jerzy Neyman schon 1923 verwendet hat.¹²

Jeder Kunde hat zwei mögliche Zukünfte. In der einen bekommt er die Mail, in der anderen nicht. Jede Zukunft hat ein Ergebnis, hier das Geld, das er in den nächsten 30 Tagen für Nachbestellungen ausgibt. Der Effekt der Mail auf diesen Kunden ist der Unterschied zwischen den beiden Zukünften.

Der durchschnittliche Behandlungseffekt, im Englischen average treatment effect und kurz ATE, ist dieser Unterschied, gemittelt über alle Kunden:

$$\tau_{\text{ATE}} = E\left[Y_i(1) - Y_i(0)\right] = E\left[Y(1)\right] - E\left[Y(0)\right]$$

Dabei ist $\tau_{\text{ATE}}$ der durchschnittliche Behandlungseffekt, $Y_i(1)$ das, was Kunde $i$ ausgeben würde, wenn er die Mail bekommt, $Y_i(0)$ das, was derselbe Kunde ohne Mail ausgeben würde, und $E[\cdot]$ der Erwartungswert, also der Durchschnitt auf lange Sicht über alle Kunden. Die Behandlung (Treatment) ist das, was getestet wird, hier die Mail. Den Erwartungswert erkläre ich von Grund auf in Grundlagen: Erwartungswert.

Jetzt der Haken. Bei jedem einzelnen Kunden siehst du immer nur eine der beiden Zukünfte. Hannas Kunde hat die Mail entweder bekommen oder nicht. Das andere Ergebnis, das kontrafaktische, tritt nie ein. Paul Holland nannte das das Grundproblem der kausalen Inferenz, und keine noch so große Datenmenge löst es.² Die eigentliche Kunst ist, die fehlende Hälfte ehrlich zu schätzen.

Beispiel: zwei Kunden, zwei Zukünfte

Nimm zwei Kunden der Naschkiste. Angenommen, wir könnten in einer Welt, in der alles sichtbar ist, diese Zahlen sehen:

• Kunde A würde mit Mail 40 € ausgeben und ohne 30 €. Effekt: $40 - 30 = 10$ €.
• Kunde B würde mit Mail 12 € ausgeben und ohne ebenfalls 12 €. Effekt: $12 - 12 = 0$ €.

Der durchschnittliche Behandlungseffekt über beide ist $\frac{10 + 0}{2} = 5$ €.

In der echten Welt sieht Hanna nur die Hälfte davon. Kunde A hat die Mail bekommen, also sieht sie 40 € und nie die 30 €. Kunde B hat sie nicht bekommen, also sieht sie 12 €. Vergleicht sie die beiden direkt, kommt $40 - 12 = 28$ € heraus, mehr als das Fünffache des wahren durchschnittlichen Effekts. Kunde A hat schlicht schon vorher mehr ausgegeben.

Der naive Unterschied ist der echte Effekt plus eine Selektionsverzerrung

Diese 28 € lassen sich genau zerlegen, und die Zerlegung erklärt jede Methode, die folgt. Der Unterschied zwischen der behandelten und der unbehandelten Gruppe besteht aus zwei Teilen:²

$$\underbrace{E[Y \mid D=1] - E[Y \mid D=0]}_{\text{naiver Unterschied}} = \underbrace{E[Y(1) - Y(0) \mid D=1]}_{\text{ATT}} + \underbrace{E[Y(0) \mid D=1] - E[Y(0) \mid D=0]}_{\text{Selektionsverzerrung}}$$

Dabei ist $D$ gleich 1 für einen Kunden, der die Mail bekommen hat, und 0 für einen, der sie nicht bekommen hat, $Y$ ist die Ausgabe, die wir tatsächlich beobachten, und der senkrechte Strich $\mid$ heißt "unter denen, die", $E[Y \mid D=1]$ ist also die durchschnittliche Ausgabe der angeschriebenen Kunden. Der ATT ist der durchschnittliche Behandlungseffekt bei den Behandelten (average treatment effect on the treated), also der Effekt der Mail auf genau die Kunden, die sie bekommen haben. Die Selektionsverzerrung (Selection Bias) ist der Betrag, den die angeschriebenen Kunden ohnehin mehr ausgegeben hätten, ganz ohne Mail. Bedingte Durchschnitte wie diese stehen in Grundlagen: Wahrscheinlichkeit.

Der naive Vergleich trifft den echten Effekt nur dann, wenn die Selektionsverzerrung null ist, wenn also beide Gruppen ohne Mail gleich viel ausgegeben hätten. Eine Zufallsaufteilung garantiert genau das. Ein Team, das seine Lieblingskunden aussucht, garantiert das Gegenteil.

Beispiel: Hannas naiver Vergleich

Im letzten Frühjahr hat Hannas Team die Loyalitätsmail an 4.000 der 10.000 Kunden geschickt. Ausgewählt wurden die, die engagiert wirkten. In den 30 Tagen danach:

• Die 4.000 angeschriebenen Kunden gaben im Schnitt 46,40 € für Nachbestellungen aus.
• Die 6.000 anderen gaben im Schnitt 18,40 € aus.

Der naive Unterschied ist $46{,}40 - 18{,}40 = 28{,}00$ € pro Kunde. Hochgerechnet auf 4.000 Mails ergibt das die Geschichte von $4.000 \times 28 = 112.000$ € Zusatzumsatz, und genau die sollte gerade ein Treueprogramm mit Punkten und Geschenken für 30.000 € rechtfertigen. Merk dir diese Zahl.

Ein Kausaldiagramm zeigt dir, was du berücksichtigen musst, bevor du die Daten anfasst

Bevor ich irgendetwas rechne, zeichne ich das Problem auf. Ein Kausaldiagramm, formal ein gerichteter azyklischer Graph (directed acyclic graph, kurz DAG), besteht aus Kästen für Variablen und Pfeilen für "das verursacht das". Gerichtet heißt, jeder Pfeil zeigt in eine Richtung, azyklisch heißt, du kannst den Pfeilen nie im Kreis folgen. Judea Pearl hat aus diesen Bildern eine vollständige mathematische Sprache gemacht.³

Das Diagramm sagt dir, welche Variablen du kontrollieren musst und welche du in Ruhe lassen solltest.⁴

• Ein Confounder (Störfaktor) verursacht sowohl die Behandlung als auch das Ergebnis. Er öffnet einen "Hintertürpfad" (Backdoor Path), über den Korrelation von der einen Seite zur anderen sickert. Den kontrollierst du.
• Ein Mediator liegt auf dem Weg von der Behandlung zum Ergebnis, so wie "Mail geöffnet" zwischen "Mail verschickt" und "bestellt" liegt. Kontrollierst du ihn, ziehst du einen Teil genau des Effekts ab, den du messen willst.
• Ein Collider wird von zwei Dingen gleichzeitig verursacht. Lässt du ihn in Ruhe, blockiert er einen Pfad. Kontrollierst du ihn, öffnest du einen falschen. Das Lehrbuchbeispiel im Marketing: Du wertest nur die Kunden aus, die auf eine Umfrage geantwortet haben, obwohl das Antworten sowohl von der Mail als auch davon abhängt, ob jemand ein begeisterter Kunde ist.

Für die Naschkiste gilt: Engagement und Kaufabsicht sind der Confounder, die Mail ist die Behandlung, die Nachbestellungen sind das Ergebnis, und ein zufälliges Versandfenster ist das Instrument, das ich weiter unten erkläre.

Lies es von oben. Das Versandfenster und das Engagement des Kunden sorgen beide dafür, dass die Mail ankommt, und die Mail sorgt vielleicht für etwas mehr Umsatz. Der letzte Kasten trägt die beiden übrigen Pfeile. Das Engagement treibt die Ausgaben auch direkt, das ist der Hintertürpfad, der den naiven Vergleich lügen lässt. Das Versandfenster erreicht die Ausgaben nur über die Mail, und genau das macht es später nützlich.

Für ein Diagramm dieser Größe reicht ein Stift. Für größere nehme ich DAGitty, ein kostenloses Browserwerkzeug der Radboud Universität in Nimwegen, das dir sagt, welche Variablen jeden Hintertürpfad schließen.⁵

Beispiel: was Hanna kontrollieren sollte und was nicht

Neben den Ausgaben hat Hanna vier weitere Spalten in ihren Daten: die Zahl der bisher erhaltenen Boxen, ob der Kunde den Newsletter vom Vormonat geöffnet hat, ob er die Loyalitätsmail geöffnet hat, und ob er nach der Mail eine Bewertung geschrieben hat.

• Die erhaltenen Boxen und der geöffnete Newsletter liegen zeitlich vor der Mail und treiben sowohl die Auswahl als auch die Ausgaben. Confounder. Kontrollieren.
• Das Öffnen der Loyalitätsmail passiert nach dem Versand und auf dem Weg zur Bestellung. Ein Mediator. Weglassen, sonst schrumpft die Schätzung ohne guten Grund Richtung null.
• Eine Bewertung nach der Mail hängt von der Mail ab und davon, ob jemand ein zufriedener Kunde ist, der viel ausgibt. Ein Collider. Wer nur auf die Bewerter filtert, verzerrt den Vergleich.

Das Diagramm zeigt auch, was Hanna nicht kontrollieren kann: Ein Teil der Kaufabsicht ist unsichtbar. Wer nächste Woche eine Geschenkbestellung plant, sieht in ihren Daten genauso aus wie jemand, der das nicht vorhat. Halt den Gedanken fest.

Ein Propensity Score fasst alles, was du weißt, in einer Zahl zusammen

Die erste Methode vergleicht Gleiches mit Gleichem. Unterscheiden sich angeschriebene und nicht angeschriebene Kunden bei den erhaltenen Boxen und den geöffneten Newslettern, dann vergleichst du nur Kunden, die bei beidem übereinstimmen. Bei zwei Variablen geht das noch von Hand. Bei zwanzig gehen dir die Kunden aus, die in allen zwanzig zusammenpassen.

Paul Rosenbaum und Donald Rubin haben das 1983 gelöst.⁶ Sie haben gezeigt, dass du nicht auf jede Variable einzeln abgleichen musst. Es reicht, auf eine einzige Zahl abzugleichen: die Wahrscheinlichkeit, behandelt zu werden, gegeben diese Variablen. Sie nannten sie den Propensity Score, auf Deutsch etwa die Behandlungsneigung:

$$e(x) = P(D = 1 \mid X = x)$$

Dabei ist $e(x)$ der Propensity Score, $D = 1$ heißt, der Kunde hat die Mail bekommen, $X$ ist die Menge der beobachteten Merkmale vor der Mail (erhaltene Boxen, geöffnete Newsletter und so weiter), und $x$ sind die konkreten Werte eines bestimmten Kunden. In Worten: Welcher Anteil der Kunden, die so aussehen wie dieser, wurde angeschrieben? Wahrscheinlichkeit und der senkrechte Strich stehen in Grundlagen: Wahrscheinlichkeit.

Kunden mit demselben Score sind im Durchschnitt bei jeder Variable ausgeglichen, die in den Score eingeflossen ist. Aus zwanzig Variablen wird eine.

Geschätzt wird der Score meistens mit einer logistischen Regression, dem Standardmodell für ein Ergebnis, das nur ja oder nein sein kann:

$$\ln\frac{e(x)}{1 - e(x)} = \beta_0 + \beta_1 x_1 + \beta_2 x_2$$

Dabei ist $\ln$ der natürliche Logarithmus, $\frac{e(x)}{1 - e(x)}$ sind die Chancen (Odds), angeschrieben zu werden, $x_1$ ist die Zahl der erhaltenen Boxen, $x_2$ ist 1, wenn der Kunde den Newsletter vom Vormonat geöffnet hat, und sonst 0, $\beta_0$ ist der Achsenabschnitt, und $\beta_1$ und $\beta_2$ sagen, wie stark jedes Merkmal die logarithmierten Chancen hebt, ausgewählt zu werden. Die logistische Regression erkläre ich in Grundlagen: Regression und ausführlich in logistische Regression, Lift Charts und Warenkorbanalyse.

Beispiel: drei von Hannas Kunden bekommen einen Score

Angenommen, das geschätzte Modell lautet $\ln\frac{e}{1-e} = -3{,}0 + 0{,}45 x_1 + 1{,}2 x_2$. Um logarithmierte Chancen zurück in eine Wahrscheinlichkeit zu verwandeln, rechnest du $e = \frac{1}{1 + \exp(-z)}$, wobei $z$ die rechte Seite des Modells ist und $\exp(-z)$ die eulersche Zahl (ungefähr 2,72) hoch $-z$ bedeutet.

• Kunde mit zwei Boxen, Newsletter nicht geöffnet: $z = -3{,}0 + 0{,}45 \times 2 + 1{,}2 \times 0 = -2{,}1$, der Score ist also $\frac{1}{1 + \exp(2{,}1)} = 0{,}11$.
• Kunde mit vier Boxen, Newsletter geöffnet: $z = -3{,}0 + 1{,}8 + 1{,}2 = 0$, der Score ist also $\frac{1}{1 + \exp(0)} = 0{,}50$.
• Kunde mit sechs Boxen, Newsletter geöffnet: $z = -3{,}0 + 2{,}7 + 1{,}2 = 0{,}9$, der Score ist also $\frac{1}{1 + \exp(-0{,}9)} = 0{,}71$.

Der dritte Kunde hatte eine Chance von 71 %, ausgewählt zu werden, der erste von 11 %. Stellst du die beiden nebeneinander, vergleichst du zwei verschiedene Arten von Kunden. Damit die Rechnung auf einen Bildschirm passt, fasse ich alle 10.000 Scores in drei Bänder zusammen: niedrig (etwa 0,10), mittel (etwa 0,40) und hoch (etwa 0,80).

Matching auf dem Score vergleicht Gleiches mit Gleichem

Hat jeder Kunde einen Score, ist das Matching Handwerk. Für jeden angeschriebenen Kunden suchst du einen nicht angeschriebenen mit dem nächstgelegenen Score und vergleichst die Ausgaben der beiden. Dann mittelst du die Unterschiede:

$$\hat{\tau}_{\text{ATT}} = \frac{1}{N_1} \sum_{i:\, D_i = 1} \left( Y_i - Y_{j(i)} \right)$$

Dabei ist $\hat{\tau}_{\text{ATT}}$ der geschätzte durchschnittliche Effekt bei den Behandelten (das Dach heißt "geschätzt"), $N_1$ ist die Zahl der angeschriebenen Kunden, die Summe läuft über jeden angeschriebenen Kunden $i$, $Y_i$ ist dessen Ausgabe, und $Y_{j(i)}$ ist die Ausgabe von $j(i)$, dem nicht angeschriebenen Kunden, der ihm zugeordnet wurde. Das ist ein ganz normaler Durchschnitt von Unterschieden, siehe Grundlagen: der Mittelwert.

Geschätzt wird damit der ATT, der Effekt auf die Kunden, die angeschrieben wurden. Für eine Kampagne, die schon gelaufen ist, ist das meistens die ehrliche Frage.

Beispiel: Hannas Schätzung mit Matching

Hier sind Hannas 10.000 Kunden nach Scoreband, mit dem Anteil der Angeschriebenen und den durchschnittlichen Nachbestellungen über 30 Tage in jeder Gruppe:

• Niedriges Band, 4.000 Kunden, Score etwa 0,10: 400 Angeschriebene gaben 14 € aus, 3.600 nicht Angeschriebene 10 €. Unterschied 4 €.
• Mittleres Band, 3.000 Kunden, Score etwa 0,40: 1.200 Angeschriebene gaben 30 € aus, 1.800 nicht Angeschriebene 24 €. Unterschied 6 €.
• Hohes Band, 3.000 Kunden, Score etwa 0,80: 2.400 Angeschriebene gaben 60 € aus, 600 nicht Angeschriebene 52 €. Unterschied 8 €.

Zuerst prüfe ich, ob das die naiven Zahlen ergibt. Angeschrieben: $\frac{400 \times 14 + 1.200 \times 30 + 2.400 \times 60}{4.000} = \frac{185.600}{4.000} = 46{,}40$ €. Nicht angeschrieben: $\frac{3.600 \times 10 + 1.800 \times 24 + 600 \times 52}{6.000} = \frac{110.400}{6.000} = 18{,}40$ €. Passt.

Jetzt das Matching. Jeder angeschriebene Kunde wird mit einem nicht angeschriebenen aus demselben Band verglichen und bringt damit den Unterschied seines Bandes ein. Gewichtet wird mit der Zahl der Angeschriebenen pro Band:

$$\hat{\tau}_{\text{ATT}} = \frac{400 \times 4 + 1.200 \times 6 + 2.400 \times 8}{4.000} = \frac{28.000}{4.000} = 7{,}00 \text{ Euro}$$

Dabei sind 400, 1.200 und 2.400 die Angeschriebenen in jedem Band, also $N_1$ aufgeteilt nach Band, 4 €, 6 € und 8 € sind die Unterschiede pro Band, die Rolle von $Y_i - Y_{j(i)}$, und 4.000 ist $N_1$, alle Angeschriebenen zusammen. Gewichtete Durchschnitte stehen in Grundlagen: der Mittelwert.

Die Mail ist etwa 7 € pro angeschriebenem Kunden wert, nicht 28 €. Zurück zur Zerlegung: naive 28,00 € sind gleich ATT von 7,00 € plus eine Selektionsverzerrung von 21,00 €. Drei Viertel der Schlagzeile waren das gute Auge des Teams für begeisterte Kunden.

Ein Detail, das erfahrenen Leserinnen und Lesern auffällt: Im hohen Band stehen 2.400 Angeschriebene nur 600 Vergleichskunden gegenüber, jeder Vergleichskunde wird also etwa viermal verwendet. Das ist Matching mit Zurücklegen. Es funktioniert, macht die Schätzung aber unruhiger.

Prüf die Balance, und respektier, was Matching nicht sieht

Matching ist nur so gut wie die Balance, die es erzeugt. Ich prüfe sie Variable für Variable mit der standardisierten Mittelwertdifferenz:

$$d = \frac{\bar{x}_{\text{treated}} - \bar{x}_{\text{control}}}{s_{\text{pooled}}}$$

Dabei ist $d$ die standardisierte Differenz, $\bar{x}_{\text{treated}}$ und $\bar{x}_{\text{control}}$ sind der Durchschnitt eines Merkmals in der behandelten Gruppe und in der Vergleichsgruppe, und $s_{\text{pooled}}$ ist die Standardabweichung dieses Merkmals über beide Gruppen zusammen. So wird der Abstand in Einheiten der natürlichen Streuung gemessen. Die Standardabweichung erkläre ich in Grundlagen: Streuung. Eine verbreitete Konvention behandelt Werte unter 0,1 als vernachlässigbaren Unterschied.⁷

Beispiel: Balance bei den erhaltenen Boxen

Vor dem Matching hatten Hannas angeschriebene Kunden im Schnitt 6,2 Boxen erhalten, die anderen 3,4, bei einer gemeinsamen Standardabweichung von 2,8. Also $d = \frac{6{,}2 - 3{,}4}{2{,}8} = 1{,}00$, eine ganze Standardabweichung auseinander. Nach dem Matching kommen die zugeordneten Vergleichskunden im Schnitt auf 6,1 Boxen, also $d = \frac{6{,}2 - 6{,}1}{2{,}8} = 0{,}04$. Deutlich unter 0,1.

Zwei Grenzen verdienen klare Worte.

Die erste ist die Überlappung (Overlap). Matching braucht bei jedem Score nicht angeschriebene Kunden. Hätte das Team jeden Kunden im hohen Band angeschrieben, gäbe es dort niemanden zum Vergleichen. Formal muss jeder Score echt zwischen 0 und 1 liegen.⁸ Ist das verletzt, lasse ich die Kunden ohne Partner weg und sage das dazu.

Die zweite Grenze ist die wichtige. Matching gleicht aus, was du gemessen hast, und sonst nichts. Es nimmt an, dass die Auswahl für die Mail so gut wie zufällig war, sobald die beobachteten Merkmale berücksichtigt sind.⁸ Bei Hanna steht das auf wackligen Beinen. Ihr Team hat auch Kunden ausgewählt, die sich besonders herzlich mit dem Kundenservice unterhalten hatten, manche davon über anstehende Geschenkbestellungen. Diese Absicht steht in keiner Spalte, die 7 € können also immer noch etwas Selektionsverzerrung enthalten. Eine gematchte Stichprobe sieht nur bei den Variablen wie ein Zufallsexperiment aus, die du sehen kannst.

Ein Instrument borgt sich Zufall von woanders

Wenn der Confounder unsichtbar ist, kommt Matching nicht weiter. Der Ansatz mit Instrumentvariablen (IV) kommt von der anderen Seite. Statt jeden Grund zu messen, aus dem Kunden ausgewählt wurden, sucht er etwas, das verändert hat, wer die Mail bekam, aus Gründen, die mit dem Kunden nichts zu tun haben.

Eine Instrumentvariable $Z$, also eine Größe, die die Behandlung verschiebt, ohne selbst etwas mit dem Ergebnis zu tun zu haben, muss drei Prüfungen bestehen:⁹

1. Relevanz. Sie verändert tatsächlich, wer behandelt wird. Das kannst du in den Daten prüfen.
2. Unabhängigkeit. Sie ist so gut wie zufällig zugeteilt und hängt nicht mit dem versteckten Confounder zusammen.
3. Ausschluss. Sie wirkt nur über die Behandlung auf das Ergebnis, nie direkt. Das kannst du in den Daten nicht prüfen. Das musst du aus dem Wissen begründen, wie die Welt funktioniert.

Der Wohnort der Kunden ist ein verlockendes Instrument, weil Versandzeiten oft nach Region verschieden sind. Er fällt aber bei der Ausschlussprüfung durch: Menschen an verschiedenen Orten haben unterschiedliche Einkommen, Lieferzeiten und unterschiedliches Wetter, und all das bewegt die Ausgaben, ohne je die Mail zu berühren. Ein gutes Instrument ist meistens langweilig und mechanisch.

Die Naschkiste hat so eines. Um den Ruf ihrer Absenderadresse zu schützen, hat Hannas Mailprogramm die Loyalitätskampagne gedrosselt und jedem Kunden zufällig ein Versandfenster zugeteilt: früh, am ersten Tag des Zeitfensters von 30 Tagen, oder spät, am Tag 40, wenn das Fenster schon geschlossen war. Das Fenster kam aus einem Münzwurf, es ist also unabhängig von Engagement und Kaufabsicht. Und das Fenster kann die Ausgaben nur dadurch verändern, dass es bestimmt, ob die Mail rechtzeitig ankommt.

Die Zuteilung war nicht perfekt, und das ist normal. Manche Kunden im frühen Fenster haben die Mail nie bekommen, weil sie sich abgemeldet hatten oder das Team sie vergessen hatte. Manche im späten Fenster haben sie trotzdem innerhalb des Zeitfensters bekommen, weil das Team sie einigen Lieblingskunden von Hand geschickt hat.

Der Wald Schätzer teilt zwei einfache Unterschiede

Mit einem einzigen Instrument, das nur ja oder nein kennt, ist die Schätzung mit Instrumentvariable eine einzige Division, der sogenannte Wald Schätzer:¹⁰

$$\hat{\beta}_{\text{IV}} = \frac{E[Y \mid Z=1] - E[Y \mid Z=0]}{E[D \mid Z=1] - E[D \mid Z=0]}$$

Dabei ist $\hat{\beta}_{\text{IV}}$ der geschätzte Effekt der Mail, $Z$ ist 1 für das frühe und 0 für das späte Versandfenster, $Y$ sind die Nachbestellungen über 30 Tage, und $D$ ist 1, wenn die Mail innerhalb des Zeitfensters ankam. Der Zähler, die reduzierte Form (Reduced Form), sagt, wie viel mehr die Gruppe mit frühem Fenster ausgegeben hat. Der Nenner, die erste Stufe (First Stage), sagt, wie viel wahrscheinlicher die Gruppe mit frühem Fenster die Mail rechtzeitig bekommen hat. Weil $D$ nur 0 oder 1 sein kann, ist $E[D \mid Z=1]$ einfach der Anteil der Behandelten in der frühen Gruppe. Beide Zeilen sind Unterschiede von Durchschnitten, erklärt in Grundlagen: Erwartungswert.

Die Logik ist eine Umskalierung. Der Münzwurf hat die Ausgaben ein wenig bewegt und die Zustellung um weniger als 100 %. Teilst du das eine durch das andere, bekommst du den Effekt pro Kunde, bei dem sich die Zustellung tatsächlich geändert hat.

Mit mehreren Instrumenten oder zusätzlichen Kontrollvariablen läuft dieselbe Idee als zweistufige Methode der kleinsten Quadrate (Two Stage Least Squares, 2SLS): Erst regressierst du die Behandlung auf das Instrument, dann das Ergebnis auf die vorhergesagte Behandlung. Rechnest du das von Hand als zwei getrennte Regressionen, sind die Standardfehler der zweiten falsch. Eine richtige IV Routine korrigiert sie.

Beispiel: Hannas Schätzung mit Instrumentvariable

Der Münzwurf hat die 10.000 Kunden in 5.000 frühe und 5.000 späte geteilt.

• Frühes Fenster: 3.400 von 5.000 bekamen die Mail im Zeitfenster, ein Anteil von $0{,}68$. Durchschnittliche Nachbestellungen über 30 Tage 31,00 €.
• Spätes Fenster: 600 von 5.000 bekamen sie trotzdem im Zeitfenster, ein Anteil von $0{,}12$. Durchschnittliche Ausgaben 28,20 €.

Das sind dieselben 4.000 angeschriebenen Kunden wie vorher, $3.400 + 600 = 4.000$, und derselbe Gesamtdurchschnitt, $\frac{31{,}00 + 28{,}20}{2} = 29{,}60$ €, nur anders aufgeteilt.

Die reduzierte Form: $31{,}00 - 28{,}20 = 2{,}80$ €. Die erste Stufe: $0{,}68 - 0{,}12 = 0{,}56$. Die Schätzung:

$$\hat{\beta}_{\text{IV}} = \frac{2{,}80}{0{,}56} = 5{,}00 \text{ Euro}$$

Dabei sind 2,80 € die reduzierte Form, $E[Y \mid Z=1] - E[Y \mid Z=0]$, und 0,56 die erste Stufe, $E[D \mid Z=1] - E[D \mid Z=0]$. Siehe Grundlagen: Erwartungswert.

Bevor ich dem traue, prüfe ich, ob das Instrument stark ist. Eines, das die Behandlung kaum bewegt, macht die Schätzung instabil und verzerrt. Die alte Faustregel verlangte in der ersten Stufe eine F Statistik über 10, und heutige Empfehlungen halten 10 für zu niedrig.¹⁰ Hannas erste Stufe ist alles andere als schwach. Der Standardfehler des Unterschieds von 0,56 ist $\sqrt{\frac{0{,}68 \times 0{,}32}{5.000} + \frac{0{,}12 \times 0{,}88}{5.000}} = 0{,}0080$, die t Statistik ist also $\frac{0{,}56}{0{,}0080} = 70$. Bei einem einzigen Instrument ist die F Statistik das Quadrat davon, etwa 4.900. Den Standardfehler eines Anteils erkläre ich in Grundlagen: Stichproben.

Das Instrument beantwortet eine engere Frage, als du denkst

Die 5 € sind nicht der Effekt der Mail auf alle Kunden, und auch nicht auf alle Angeschriebenen. Guido Imbens und Joshua Angrist haben 1994 gezeigt, und 1996 zusammen mit Donald Rubin, dass ein Instrument den Effekt für eine bestimmte Gruppe identifiziert: die Complier, also die Kunden, deren Behandlung tatsächlich vom Instrument umgeschaltet wurde.¹¹⁹ Sie nannten das den lokalen durchschnittlichen Behandlungseffekt, im Englischen local average treatment effect oder kurz LATE.

Dieses Ergebnis braucht noch eine Annahme, die Monotonie: Das Instrument schiebt alle in dieselbe Richtung oder gar nicht. Das frühe Fenster hat niemanden unwahrscheinlicher gemacht, die Mail rechtzeitig zu bekommen. Bei einer Versandverzögerung ist das leicht zu glauben.

Unter Monotonie verrät dir die erste Stufe, wer die Complier sind, zumindest als Anteil:

• Always Taker, die die Mail im Zeitfenster bekamen, egal in welchem Versandfenster sie waren (die handverlesenen Lieblingskunden): 12 %, der Anteil der Behandelten in der späten Gruppe.
• Never Taker, die sie nie bekamen, egal in welchem Fenster (abgemeldet oder vergessen): $1 - 0{,}68 = 32$ %.
• Complier, deren Zustellung dem Münzwurf folgte: $0{,}68 - 0{,}12 = 56$ %.

Beispiel: worüber die 5 € etwas sagen

Hannas IV Schätzung heißt: Bei den 56 % der Kunden, deren Mailzeitpunkt der Münzwurf bestimmt hat, hat eine Mail im Zeitfenster die Nachbestellungen über 30 Tage um etwa 5 € erhöht. Über die Always Taker, die Lieblingskunden des Teams, sagt sie direkt nichts. Reagieren die Lieblingskunden stärker, kann der Effekt auf alle Angeschriebenen über 5 € liegen. Hätten sie ohnehin gekauft, kann er darunter liegen.

Die 7 € und die 5 € beantworten also zwei leicht verschiedene Fragen, mit verschiedenen Schwächen. Matching deckt alle Angeschriebenen ab, kann aber versteckte Absicht mitschleppen. Das Instrument ist vor versteckter Absicht geschützt, deckt aber nur die Complier ab, mit einer breiteren Fehlermarge, weil es nur die Variation nutzt, die der Münzwurf erzeugt hat. Wenn zwei Methoden, die auf verschiedene Weise scheitern können, nur ein, zwei Euro auseinanderliegen und beide weit unter der naiven Zahl, glaube ich dem groben Bild.

Drei Schätzungen, eine Entscheidung

Leg die drei Zahlen nebeneinander.

Die waagrechte Achse zeigt die drei Methoden: den naiven Vergleich, die Schätzung mit Matching und die Schätzung mit Instrumentvariable. Die senkrechte Achse zeigt die geschätzten zusätzlichen Nachbestellungen pro Kunde über 30 Tage, in Euro. Entscheidend ist die Höhe des ersten Absturzes. Der größte Teil der naiven 28 € war Selektion, das Geschick des Teams, Kunden auszuwählen, die sowieso gekauft hätten. Die beiden Methoden, die genau das herausrechnen sollen, setzen den echten Effekt bei etwa 5 bis 7 € an.

Beispiel: was Hanna damit macht

Die naive Geschichte waren $4.000 \times 28 = 112.000$ € Zusatzumsatz aus einer einzigen Mail. Die ehrliche Spanne reicht von $4.000 \times 5 = 20.000$ € bis $4.000 \times 7 = 28.000$ €. Die Naschkiste behält etwa 40 % des Umsatzes als Rohertrag, die Mail hat also ungefähr $0{,}40 \times 20.000 = 8.000$ € bis $0{,}40 \times 28.000 = 11.200$ € Rohertrag gebracht.

Die Mail kostet im Versand fast nichts, also behält Hanna sie. Das Treueprogramm mit Punkten und Geschenken für 30.000 €, begründet mit den 112.000 €, müsste den Effekt der Mail ungefähr verdreifachen, nur um sich selbst zu bezahlen. Sie legt es auf Eis und tut das Einzige, was den Streit beendet: Die nächste Loyalitätsmail verschickt sie sauber zufällig aufgeteilt, mit einer zurückgehaltenen Kontrollgruppe, deren Größe sie mit der Methode aus statistische Tests, Stichprobengröße und Lift bestimmt.

Das ist der eigentliche Nutzen kausaler Inferenz in einem kleinen Unternehmen: weniger teure Entscheidungen auf Grundlage einer Zahl, die größtenteils aus Selektion bestand.

Wie ich das in der Praxis einsetze

Nach meiner Erfahrung zählt die Reihenfolge mehr als die Methode. Ich zeichne zuerst das Diagramm, weil es entscheidet, was ins Propensity Modell kommt und was draußen bleibt. Dann suche ich nach allem, was im Betrieb schon echt zufällig passiert, etwa eine Versanddrosselung oder eine Verlosung von Lieferfenstern. Dann schätze ich mit mindestens zwei Methoden, die auf verschiedene Weise scheitern können, und berichte die Spanne, nicht den schmeichelhaftesten Punkt.

Sobald dieselbe Frage wieder auftauchen wird, höre ich auf zu schätzen und fange an zu testen. Eine zufällig zurückgehaltene Kontrollgruppe beseitigt die Selektionsverzerrung durch das Design statt durch Argumente. Wenn Marketing und Umsatz sich gegenseitig beeinflussen, brauchst du ein anderes Werkzeug, beschrieben in simultane Gleichungen.

Wer tiefer einsteigen will, findet zwei hervorragende kostenlose Texte, beide auf Englisch: das Onlinebuch von Scott Cunningham, mit Code,² und "Causal Inference: What If" von Miguel Hernán und James Robins, frei zum Herunterladen.¹²

Footnotes

1. Guido W. Imbens und Donald B. Rubin, Causal Inference for Statistics, Social, and Biomedical Sciences: An Introduction, Cambridge University Press, 2015, https://www.cambridge.org/core/books/causal-inference-for-statistics-social-and-biomedical-sciences/71126BE90C58F1A431FE9B2DD07938AB

2. Scott Cunningham, Causal Inference: The Remix (die aktualisierte Onlineausgabe von Causal Inference: The Mixtape), Kapitel 3, Potential outcomes and randomisation, abgerufen im November 2026, https://mixtape.scunning.com/03-potential_outcomes_and_randomization

3. Judea Pearl, Causality: Models, Reasoning, and Inference, zweite Auflage, Cambridge University Press, 2009, https://www.cambridge.org/core/books/causality/B0046844FAE10CBF274D4ACBDAEB5F5B

4. Scott Cunningham, Causal Inference: The Remix, Kapitel 4, Directed acyclic graphs, abgerufen im November 2026, https://mixtape.scunning.com/04-directed_acyclical_graphs

5. Johannes Textor und andere, DAGitty: drawing and analysing causal diagrams, Radboud Universität, abgerufen im November 2026, https://www.dagitty.net/

6. Paul R. Rosenbaum und Donald B. Rubin, The central role of the propensity score in observational studies for causal effects, Biometrika, Band 70, Heft 1, Seiten 41 bis 55, 1983, https://academic.oup.com/biomet/article/70/1/41/240879

7. Peter C. Austin, An introduction to propensity score methods for reducing the effects of confounding in observational studies, Multivariate Behavioral Research, Band 46, Heft 3, Seiten 399 bis 424, 2011, https://pmc.ncbi.nlm.nih.gov/articles/PMC3144483/

8. Scott Cunningham, Causal Inference: The Remix, Kapitel 5, Unconfoundedness, abgerufen im November 2026, https://mixtape.scunning.com/05-causal_cross_sectional_designs

9. Joshua D. Angrist, Guido W. Imbens und Donald B. Rubin, Identification of causal effects using instrumental variables, NBER Technical Working Paper 136, 1993, erschienen im Journal of the American Statistical Association, 1996, https://www.nber.org/papers/t0136

10. Scott Cunningham, Causal Inference: The Remix, Kapitel 7, Instrumental variables, abgerufen im November 2026, https://mixtape.scunning.com/07-instrumental_variables

11. Guido W. Imbens und Joshua D. Angrist, Identification and estimation of local average treatment effects, Econometrica, Band 62, Heft 2, Seiten 467 bis 475, 1994, https://ideas.repec.org/a/ecm/emetrp/v62y1994i2p467-75.html

12. Miguel A. Hernán und James M. Robins, Causal Inference: What If, Chapman and Hall/CRC, 2020, https://miguelhernan.org/whatifbook