Simultane Gleichungen: wenn Marketing Umsatz treibt und Umsatz Marketing

Der Gründer, der seine Werbung aus den Rechnungen des Vormonats bezahlt

Werkbuch ist das erfundene SaaS auf Rails aus Leipzig, das in dieser Serie das Softwaregeschäft spielt. Es gibt Installateuren, Tischlern und Elektrikern einen Ort für Kalender, Angebote und Rechnungen. Die Tarife beginnen bei 29 € im Monat, ein Neukunde ist im ersten Jahr rund 600 € Umsatz wert, und Werkbuch gewinnt zwischen 20 und 45 davon im Monat. Die Werberegel des Gründers ist einfach und auf den ersten Blick vernünftig: Das Budget für Google und Meta im nächsten Monat sind 25 % der Neubuchungen dieses Monats. Guter Monat, mehr Werbung. Schwacher Monat, Gürtel enger. Zur Monatsmitte schaut er aufs Dashboard und stockt die Kampagnen entweder auf oder pausiert sie für eine Woche.

Nach drei Jahren stellt er mir eine faire Frage: Was bringt ein Euro Werbung eigentlich zurück? Seine Agentur hatte die monatlichen Neubuchungen auf die Werbeausgaben regressiert und 2,10 € Neugeschäft pro ausgegebenem Euro gemeldet, mit einer t Statistik, an die man einen Mantel hängen könnte. Dann schlug sie vor, das Budget zu verdoppeln. An ihrer Rechnung habe ich nicht gezweifelt. Am Modell schon, denn bei Werkbuch verursachen die Werbeausgaben nicht einfach die Buchungen. Die Buchungen verursachen die Werbeausgaben. Das ist die Regel des Gründers, aufgeschrieben in einer Tabelle.

Wenn zwei Variablen sich gegenseitig verursachen, liegt eine einzelne Regressionsgerade still und leise falsch, und zwar in einer Richtung, die man vorhersagen kann. Hier schmeichelt sie der Werbung um rund 40 %. Werkbuch, sein Gründer und jede Zahl in diesem Kapitel sind erfunden, damit ich jeden Schritt zeigen kann. Die Zahlen dienen der Veranschaulichung. Der Mechanismus nicht.

Wo dieses Kapitel in der Serie steht

Das ist Kapitel 11 von 21 meiner Serie Marketing Analytics, und es eröffnet den dritten Teil, die Verfahren für Wechselbeziehungen in den Kapiteln 11 bis 14. Im zweiten Teil stand immer ein Ergebnis links und seine Ursachen rechts. Sein letztes Kapitel, Nachfrage prognostizieren mit Autokorrelation, Saisonalität und ehrlichen Fehlerbändern, hat gezeigt, dass Schocks von einem Monat in den nächsten nachwirken, und das zählt hier wieder. Danach kommen Hauptkomponenten und Faktorenanalyse für Marketer, wo sich viele Variablen gemeinsam bewegen, ohne dass eine davon das Ergebnis ist. Dieses Kapitel ist die Brücke: zwei Ergebnisse, jedes zugleich eine Ursache.

Budgetregeln bauen Rückkopplungsschleifen, und das Marketing ist voll davon

Simultanität ist das höfliche Wort dafür, dass zwei Variablen sich innerhalb desselben Zeitraums gegenseitig bestimmen. Das Marketing erzeugt sie ständig, durch völlig vernünftige Entscheidungen. Das Budget als Anteil am Umsatz ist der häufigste Fall: Der Umsatz setzt die Ausgaben, die Ausgaben bewegen den Umsatz. Preis und Menge sind der Lehrbuchfall. Nachfrage und Angebot bestimmen Preis und Menge gemeinsam, also kann eine Regression der Menge auf den Preis die Nachfragekurve nicht allein herausholen.¹ Automatisches Bieten ist der neueste: Die Strategie Ziel ROAS von Google sagt bei jeder Auktion den Wert einer möglichen Conversion voraus und setzt die Gebote so, dass der Conversion Wert maximiert wird,² also steigen die Gebote dort, wo Conversions wahrscheinlich sind, und die Conversions steigen dort, wo die Gebote höher sind. Die Plattform baut dir die Schleife in Auktionsgeschwindigkeit.

Hier die Schleife bei Werkbuch. Der gefährliche Schritt ist der erste, der Schock, den niemand aufzeichnet, denn er erreicht die Werbeausgaben über die Buchungen.

Jeder Kasten verursacht den nächsten. Nur der zweite und der vierte tauchen in den Daten auf, nebeneinander in einer Zeile, und nichts in der Zeile sagt, was was verursacht hat.

Rechenbeispiel: warum eine Verzögerung um einen Monat die Schleife nicht bricht

Eine strenge Version der Regel nutzt die Buchungen des Vormonats, die schon in den Büchern stehen, wenn das Budget dieses Monats festgelegt wird, also sollte die Schleife innerhalb eines Monats gebrochen sein. Zwei Dinge verderben das. Erstens reagiert der Gründer zur Monatsmitte, also fließen die Buchungen dieses Monats in die Ausgaben dieses Monats. Zweitens halten die unbeobachteten Dinge, die die Buchungen nach oben treiben, meist länger als einen Monat. Ein Beispiel: Eine konkurrierende Planungsapp fällt Ende März zwei Wochen lang aus, und Testnutzer, die noch gezögert hatten, steigen um. Die Buchungen im März springen. Der Gründer stockt im März auf. Manche Wechsler entscheiden sich erst im April, also sind auch die Buchungen im April hoch, und das Aprilbudget, aus dem März gesetzt, ist ebenfalls hoch. Der Schock steckt in den Buchungen des Vormonats und lebt diesen Monat noch. Diese Autokorrelation ist der Grund, warum eine Verzögerung allein dich nicht rettet.

Warum die einzelne Regression verzerrt ist

Schreib das System ehrlich auf. Zwei Gleichungen, eine für jede Variable, die zugleich Ursache und Wirkung ist:

$$R_t = \alpha_0 + \alpha_1 A_t + \alpha_2 S_t + \alpha_3 J_t + u_t$$

Dabei ist $R_t$ der Wert der Neubuchungen in Euro im Monat $t$, $A_t$ die Werbeausgabe im selben Monat, $S_t$ die Zahl der organischen Testanmeldungen über den Eintrag im Softwareverzeichnis und Mundpropaganda, $J_t$ ein Januarindikator (eins im Januar, sonst null, weil Handwerksbetriebe sich jeden Januar neu sortieren), und $u_t$ ist alles andere, was die Buchungen in diesem Monat bewegt hat. $\alpha_0$ ist der Achsenabschnitt, $\alpha_2$ und $\alpha_3$ sind die Effekte der Anmeldungen und des Januars, und die Zahl, die wir suchen, ist $\alpha_1$: Euro Neubuchungen pro Euro Werbung. Die Regression selbst erklärt Grundlagen: Regression.

$$A_t = \beta_0 + \beta_1 R_t + \beta_2 R_{t-1} + \beta_3 B_t + v_t$$

Dabei sind $A_t$ und $R_t$ wie oben, $\beta_0$ ist der Achsenabschnitt, $\beta_1$ die Reaktion des Gründers zur Monatsmitte auf die Buchungen dieses Monats, $\beta_2$ die 25 % Regel, angewandt auf die Buchungen des Vormonats $R_{t-1}$, $\beta_3$ der Effekt von $B_t$, dem Kontostand zu Monatsbeginn (er stockt nicht auf, wenn das Konto dünn ist), und $v_t$ sind seine Laune, sein Urlaub und was sonst das Budget anschiebt. Zwei Gleichungen auf einmal sind Buchhaltung, siehe Grundlagen: Matrizen.

Der Ausfall des Wettbewerbers im März ist ein positives $u_t$: Die Buchungen liegen höher, als Werbung und Anmeldungen vorhersagen würden. Der Gründer stockt auf, also steigt auch $A_t$. Die Regression sieht ein hohes $A_t$ neben einem hohen $R_t$ und gibt der Werbung die Ehre, jeden Monat. Formal landet die Methode der kleinsten Quadrate (OLS) bei

$$\operatorname{plim}\ \hat{\alpha}_1^{OLS} = \alpha_1 + \frac{\operatorname{Cov}(\tilde{A}_t, u_t)}{\operatorname{Var}(\tilde{A}_t)}$$

Dabei ist $\operatorname{plim}$ der Wahrscheinlichkeitslimes, der Wert, bei dem die Schätzung landet, wenn die Stichprobe ohne Ende wächst, $\hat{\alpha}_1^{OLS}$ die OLS Schätzung des Werbeeffekts, $\alpha_1$ der wahre Effekt, $\tilde{A}_t$ der Teil der Werbeausgaben, den Anmeldungen und Januar nicht erklären, $\operatorname{Cov}(\tilde{A}_t, u_t)$ die Kovarianz zwischen diesen Ausgaben und dem Buchungsschock und $\operatorname{Var}(\tilde{A}_t)$ ihre Varianz. Der zweite Term ist die Simultanitätsverzerrung. Die Kovarianz ist positiv, sobald $\beta_1 > 0$, weil der Schock über die Reaktion in die Ausgaben wandert. Kovarianz und Varianz erklären Grundlagen: Korrelation und Grundlagen: Streuung.

Die Verzerrung ist null, wenn der Gründer innerhalb des Monats nie reagiert. Sie wächst mit der Größe der Buchungsschocks und schrumpft, je mehr die Ausgaben aus eigenen Gründen schwanken, etwa durch die Regel und den Kontostand. Achte darauf, was fehlt: die Stichprobengröße.

Rechenbeispiel: mehr Daten, dieselbe falsche Antwort

Eine Simulation zeigt es. Nimm das System von Werkbuch mit den 2SLS Schätzungen aus dem Rechenbeispiel weiter unten als Wahrheit: ein wahrer Werbeeffekt von 1,50, eine Reaktion zur Monatsmitte von 0,11 und die 25 % Regel. Zieh 400 Verläufe von 36 Monaten, 400 von 360 Monaten und 400 von 3.600 Monaten und schätze den Werbeeffekt auf jedem auf beide Arten.

Die waagrechte Achse ist die Länge des Verlaufs, die senkrechte die geschätzten Euro Buchungen pro Euro Werbung. OLS sitzt bei jeder Länge nahe 2,10 €, während seine Streuung über die Durchläufe von 0,29 bei 36 Monaten auf 0,02 bei 3.600 fällt: immer sicherer bei einer Zahl, die 40 % zu hoch ist. Die zweistufige Methode der kleinsten Quadrate landet beim wahren Wert von 1,50, mit einer Streuung von 0,45 bei 36 Monaten, die auf dieselbe Weise schrumpft. Mehr Daten machen einen verzerrten Schätzer nur selbstsicherer falsch.

Unverzerrt, konsistent, effizient: drei verschiedene Tugenden

Ein Schätzer ist unverzerrt, wenn er über viele wiederholte Stichproben im Durchschnitt beim wahren Wert landet. Er ist konsistent, wenn er mit wachsender Stichprobe gegen den wahren Wert läuft. Er ist effizient, wenn er unter den Schätzern seiner Klasse die kleinste Varianz hat. Die Idee, dass eine Schätzung aus einer Stichprobe um die Wahrheit schwankt, erklärt Grundlagen: Stichproben.

Ein Beispiel: Eine Küchenwaage, die immer genau 200 Gramm zu viel anzeigt, aufs Gramm, ist präzise und verzerrt. Eine Waage, die um 20 Gramm in beide Richtungen wackelt, aber im Schnitt stimmt, ist unverzerrt und ineffizient. Wieg 500 Gramm Mehl hundertmal auf jeder: Die erste zeigt jedes Mal 700, die zweite irgendwas zwischen 480 und 520, im Schnitt 500. Du würdest lieber mit der zweiten backen, und deine Steuerberaterin auch.

Unter Simultanität ist OLS weder unverzerrt noch konsistent, nur sehr effizient darin, das Falsche zu schätzen. Die zweistufige Methode der kleinsten Quadrate (2SLS), die dieses Kapitel aufbaut, ist konsistent, aber in kleinen Stichproben nicht unverzerrt, und weniger effizient: Ihre Standardfehler sind breiter, manchmal deutlich. Eine präzise falsche Zahl gegen eine unscharfe richtige, und im Marketing nimmst du diesen Tausch jedes Mal. "1,50, plausibel zwischen 0,5 und 2,5" ist eine bessere Grundlage für eine Budgetentscheidung als "2,10 plus oder minus 0,6" um eine Mitte, die es nicht gibt. Ich habe schon darüber geschrieben, wie sich Korrelation als Kausalität verkleidet. Simultanität ist dasselbe Problem, nur zeigt der Pfeil in beide Richtungen.

Die reduzierte Form: was die äußeren Treiber allein verraten

Setz die Ausgabengleichung in die Buchungsgleichung ein und umgekehrt, dann fass die Terme zusammen. Beide endogenen Variablen (die, die das System selbst bestimmt, Buchungen und Ausgaben) sind am Ende nur noch durch die exogenen ausgedrückt, die außerhalb des Systems entschieden werden:

$$R_t = \pi_{10} + \pi_{11} S_t + \pi_{12} J_t + \pi_{13} R_{t-1} + \pi_{14} B_t + \varepsilon_{1t}$$

Dabei bedeuten $R_t$, $S_t$, $J_t$, $R_{t-1}$ und $B_t$ dasselbe wie oben, $\pi_{10}$ ist der Achsenabschnitt, $\pi_{11}$ bis $\pi_{14}$ sind die Gesamteffekte jedes äußeren Treibers auf die Buchungen, nachdem die Schleife durchgelaufen ist, und $\varepsilon_{1t}$ ist eine Mischung der beiden Schocks $u_t$ und $v_t$. Siehe Grundlagen: Regression.

$$A_t = \pi_{20} + \pi_{21} S_t + \pi_{22} J_t + \pi_{23} R_{t-1} + \pi_{24} B_t + \varepsilon_{2t}$$

Dabei ist $A_t$ die Werbeausgabe, $\pi_{20}$ der Achsenabschnitt, $\pi_{21}$ bis $\pi_{24}$ die Gesamteffekte derselben Treiber auf die Ausgaben und $\varepsilon_{2t}$ eine weitere Mischung aus $u_t$ und $v_t$. Beide rechten Seiten enthalten nur exogene Variablen, also lässt sich jede Gleichung ohne schlechtes Gewissen mit der Methode der kleinsten Quadrate schätzen (Grundlagen: Regression). Jedes $\pi$ ist ein Knoten aus strukturellen Koeffizienten, zum Beispiel

$$\pi_{13} = \frac{\alpha_1 \beta_2}{1 - \alpha_1 \beta_1}, \qquad \pi_{23} = \frac{\beta_2}{1 - \alpha_1 \beta_1}$$

Dabei sind $\pi_{13}$ und $\pi_{23}$ die Effekte der Buchungen des Vormonats auf Buchungen und Ausgaben dieses Monats, $\alpha_1$ ist der Werbeeffekt, $\beta_1$ die Reaktion zur Monatsmitte und $\beta_2$ die 25 % Regel, und der Nenner $1 - \alpha_1 \beta_1$ ist die Verstärkung der Schleife, die positiv sein muss, damit das System zur Ruhe kommt. Brüche wie diese erklärt Grundlagen: Verhältnisse und Raten.

Jetzt schau dir das Verhältnis an: $\pi_{13} / \pi_{23} = \alpha_1$. Der Effekt der Buchungen des Vormonats auf die Buchungen dieses Monats, geteilt durch ihren Effekt auf die Ausgaben dieses Monats, ist der Effekt der Ausgaben auf die Buchungen. Die Budgetregel bewegt die Ausgaben aus einem Grund, der mit dem Schock dieses Monats nichts zu tun hat, also ist alles, was die Buchungen darauf hin tun, sauber der Werbeeffekt. Das ist die ganze Idee eines Instruments. Mit dem Kontostand funktioniert es genauso: Auch $\pi_{14} / \pi_{24} = \alpha_1$. Mit zwei ausgeschlossenen Variablen, $R_{t-1}$ und $B_t$, bekommst du zwei solche Verhältnisse und musst sie miteinander in Einklang bringen, und genau das tut die zweistufige Methode der kleinsten Quadrate auf geordnete Weise.

Rechenbeispiel: die 1,50 aus den Verhältnissen zurückholen

Nimm die strukturellen Werte des Beispiels: $\alpha_1 = 1{,}50$, $\beta_1 = 0{,}11$, $\beta_2 = 0{,}24$ und $\beta_3 = 0{,}014$.

• Die Verstärkung: $1 - 1{,}50 \times 0{,}11 = 1 - 0{,}165 = 0{,}835$.
• Buchungen des Vormonats auf Ausgaben dieses Monats: $\pi_{23} = 0{,}24 / 0{,}835 = 0{,}2874$.
• Buchungen des Vormonats auf Buchungen dieses Monats: $\pi_{13} = 1{,}50 \times 0{,}24 / 0{,}835 = 0{,}36 / 0{,}835 = 0{,}4311$.
• Das Verhältnis: $0{,}4311 / 0{,}2874 = 1{,}50$.
• Der Kontostand, auf dieselbe Weise: $\pi_{24} = 0{,}014 / 0{,}835 = 0{,}01677$, $\pi_{14} = 1{,}50 \times 0{,}014 / 0{,}835 = 0{,}02515$, und $0{,}02515 / 0{,}01677 = 1{,}50$.

Jeder Euro Buchungen im Vormonat bringt diesen Monat rund 29 Cent mehr Werbung und 43 Cent mehr Buchungen. Die 43 Cent kommen nur wegen der 29 Cent, also ist ein Euro Werbung rund 1,50 € wert. In echten Daten stimmen die beiden Verhältnisse nie genau überein, und wie weit sie auseinanderliegen, ist ein eigener Test.

Identifikation: Können die Daten die beiden Richtungen überhaupt auseinanderhalten?

Mit nur $R_t$ und $A_t$ hast du eine Punktwolke und keine Möglichkeit zu wissen, welche Gerade durch sie die Buchungsgleichung ist und welche die Ausgabengleichung. Das System ist nicht identifiziert, und keine Menge an Daten repariert das. Was eine Gleichung identifiziert, ist eine Variable, die in ihr fehlt und an anderer Stelle im System vorkommt. Die Ordnungsbedingung sagt das als Abzählung. Für jede Gleichung muss die Zahl der aus ihr ausgeschlossenen exogenen Variablen mindestens so groß sein wie die Zahl der endogenen Variablen auf ihrer rechten Seite:

$$K - k \geq m - 1$$

Dabei ist $K$ die Zahl der exogenen Variablen im ganzen System, $k$ die Zahl davon in der Gleichung, die du schätzen willst, und $m$ die Zahl der endogenen Variablen in dieser Gleichung, die auf der linken Seite eingeschlossen. Mit mehr ausgeschlossenen Variablen als nötig ist die Gleichung überidentifiziert, mit genau genug exakt identifiziert, und mit weniger unteridentifiziert, und dann lässt sie sich nicht schätzen.³ Die Abzählung ist dieselbe Buchhaltung wie in Grundlagen: Matrizen.

Rechenbeispiel: das System von Werkbuch abzählen

Das System hat vier exogene Variablen: $S_t$, $J_t$, $R_{t-1}$ und $B_t$. Also ist $K = 4$.

• Die Buchungsgleichung enthält $S_t$ und $J_t$, also $k = 2$ und $K - k = 2$. Sie hat zwei endogene Variablen, $R_t$ und $A_t$, also $m - 1 = 1$. Da $2 \geq 1$, ist sie identifiziert, sogar um eins überidentifiziert, und das ist eine gute Nachricht, weil wir damit die beiden Instrumente gegeneinander testen können.
• Die Ausgabengleichung enthält $R_{t-1}$ und $B_t$ und schließt $S_t$ und $J_t$ aus, also wieder $K - k = 2$ gegen $m - 1 = 1$. Ebenfalls um eins überidentifiziert.

Die Ordnungsbedingung ist notwendig, aber nicht hinreichend. Die Rangbedingung dahinter verlangt, dass die ausgeschlossenen Variablen die Ausgaben tatsächlich bewegen ($\beta_2$ oder $\beta_3$ ungleich null), und das ist in der Praxis die F Statistik der ersten Stufe weiter unten.

Der tiefere Punkt ist nicht statistisch. "Ausgeschlossen" ist eine Behauptung über die Welt, und hier sind es zwei. Die erste sagt, dass der Kontostand zu Monatsbeginn selbst nicht ändert, wie viele Tischler diesen Monat Planungssoftware kaufen, außer über die Werbung, die er bezahlt. Die zweite sagt, dass die Buchungen des Vormonats die Buchungen dieses Monats nur über das Budget erreichen, sobald die organischen Anmeldungen, die die Mundpropaganda tragen, in der Gleichung stehen. Beides sind Aussagen über Tischler, nicht über Daten, und du musst sie laut aussprechen. Das Beispiel behandelt außerdem die organischen Anmeldungen als exogen. Schwappt die Werbung in Suchen nach dem Markennamen über und taucht als "organisch" auf, fällt auch diese Annahme. Lacht eine Kollegin über eine davon, such dir ein anderes Instrument.

Die zweistufige Methode der kleinsten Quadrate, Schritt für Schritt

Erste Stufe: Regressiere $A_t$ auf jede exogene Variable im System, also $S_t$, $J_t$, $R_{t-1}$ und $B_t$, und behalte die geschätzten Werte $\hat{A}_t$. Sie sind der Teil der Werbeausgaben, den Budgetregel, Kontostand und Kalender erklären, und nichts davon weiß vom Buchungsschock dieses Monats. Zweite Stufe: Regressiere $R_t$ auf $\hat{A}_t$, $S_t$ und $J_t$. Der Koeffizient von $\hat{A}_t$ ist die 2SLS Schätzung von $\alpha_1$. In Matrixform ist das Ganze eine Zeile:

$$\hat{\theta}_{2SLS} = (X' P_Z X)^{-1} X' P_Z y, \qquad P_Z = Z (Z'Z)^{-1} Z'$$

Dabei ist $\hat{\theta}_{2SLS}$ der Vektor der geschätzten Koeffizienten der Buchungsgleichung, $y$ der Vektor der monatlichen Buchungen, $X$ enthält die Regressoren der Buchungsgleichung (eine Konstante, $A_t$, $S_t$, $J_t$), $Z$ enthält alle exogenen Variablen plus die Konstante, der Strich $'$ legt eine Matrix auf die Seite (die Transponierte), die Potenz $-1$ ist die inverse Matrix, und $P_Z$ ist die Projektion auf den Raum, den die Instrumente aufspannen. $X$ mit $P_Z$ zu multiplizieren ersetzt die Ausgabenspalte durch ihre Schätzung aus der ersten Stufe und lässt die exogenen Spalten, wie sie sind, weil sie schon in $Z$ stecken. Die Matrixmultiplikation erklärt Grundlagen: Matrizen.

Eine praktische Warnung. Rechnest du die beiden Stufen von Hand als zwei getrennte Regressionen, stimmen die Koeffizienten, aber die Standardfehler nach der zweiten Stufe sind falsch, weil sie nicht berücksichtigen, dass die geschätzten Ausgaben selbst eine Schätzung sind.¹ Jedes ernsthafte Paket korrigiert das. Nimm eins.

Der Ablauf, so wie ich ihn tatsächlich durchgehe, von oben nach unten, mit den beiden Ausgängen, an denen du zurückgehst statt weiter.

Rechenbeispiel: die Zahlen von Werkbuch, Zeile für Zeile

36 Monate Daten von Werkbuch. Über den Zeitraum kam das Geschäft im Schnitt auf 18.400 € Neubuchungen im Monat, 4.600 € Werbeausgaben, 31 organische Testanmeldungen und einen Kontostand zu Monatsbeginn um 41.000 €. Die Buchungsgleichung, auf beide Arten geschätzt:

Term	OLS Schätzung	OLS Standardfehler	2SLS Schätzung	2SLS Standardfehler
Achsenabschnitt (€)	5.570	1.480	7.830	1.930
Werbeausgaben (€ Buchungen pro ausgegebenem €)	2,10	0,31	1,50	0,52
Organische Testanmeldungen (€ pro Anmeldung)	96	28	112	34
Januar (€)	2.300	940	2.410	1.060
R Quadrat	0,71		0,64
F der ersten Stufe für die beiden Instrumente			18,4
Sargan Test auf Überidentifikation, p Wert			0,41

Von oben gelesen. Der Achsenabschnitt, ein Monat ohne Werbung, Anmeldungen oder Januar, ist unter 2SLS größer, weil die Werbung weniger Ehre bekommt und mehr von der Grundlinie in der Grundlinie bleibt. Beide Versionen gehen durch die Mittelwerte: unter 2SLS $7.830 + 1{,}50 \times 4.600 + 112 \times 31 + 2.410 / 12 = 7.830 + 6.900 + 3.472 + 201 \approx 18.400$.

Die Werbezeile ist die Schlagzeile: 2,10 € pro Euro unter OLS, 1,50 € unter 2SLS, die einzelne Gleichung hat den Effekt also um $2{,}10 / 1{,}50 - 1 = 40\,\%$ überschätzt. Der Standardfehler hat sich fast verdoppelt, von 0,31 auf 0,52. Das ist die Effizienz, die wir aufgegeben haben. Ein 95 % Band ist $1{,}50 \pm 1{,}96 \times 0{,}52$, ungefähr 0,5 bis 2,5, und das hätte ich lieber um die richtige Mitte als $2{,}10 \pm 1{,}96 \times 0{,}31$, ungefähr 1,5 bis 2,7, um die falsche. Bänder erklärt Grundlagen: Konfidenzintervalle.

Die organischen Anmeldungen gewinnen ein wenig, von 96 € auf 112 €, weil ein Teil des Umsatzes, den OLS der Werbung gab, dem organischen Kanal gehörte, der in denselben Monaten viel zu tun hatte. Der Januar bewegt sich kaum: Nichts in der Rückkopplungsschleife hat mit dem Kalender zu tun.

Die unteren drei Zeilen sind die Prüfungen. R Quadrat fällt unter 2SLS, wie es soll: 2SLS maximiert nicht die Anpassung, und ein höheres R Quadrat ist kein Beleg für OLS. Das F der ersten Stufe von 18,4 sagt, dass die beiden Instrumente genug von der Schwankung der Ausgaben erklären, um nützlich zu sein. Die übliche Faustregel ist, dass alles unter 10 schwach ist.⁴ Der Sargan Test fragt, ob die beiden Instrumente dieselbe Geschichte über $\alpha_1$ erzählen, und das ist nichts anderes, als dass die beiden Verhältnisse aus der reduzierten Form übereinstimmen. Ein p Wert von 0,41 heißt, sie tun es, im Rahmen des Rauschens. Wäre er 0,01 gewesen, hätte eines davon gelogen, und ich hätte entscheiden müssen, welches. Den p Wert selbst erklärt Grundlagen: Hypothesentests.

Die zweite Gleichung sagt dir, ob das Modell das Geschäft verstanden hat:

Term	OLS Schätzung	2SLS Schätzung
Achsenabschnitt (€)	minus 3.250	minus 2.410
Buchungen dieses Monats (€ Ausgaben pro €)	0,21	0,11
Buchungen des Vormonats (€ Ausgaben pro €)	0,19	0,24
Kontostand zu Monatsbeginn (€ Ausgaben pro €)	$0{,}012$	$0{,}014$

OLS behauptet, der Gründer reagiere auf den laufenden Monat mit 21 Cent zusätzlicher Ausgaben pro Euro Buchungen. 2SLS sagt 11 Cent, viel näher an dem, was er selbst "eine bescheidene Aufstockung, wenn es gut läuft" nennt. Die 25 % Regel taucht unter 2SLS als 0,24 auf, fast genau die erklärte Regel, während OLS sie auf 0,19 setzte, weil es einen Teil ihrer Ehre schon dem laufenden Monat gegeben hatte. Der Kontostand zählt ein wenig: rund 1,40 € zusätzliche Ausgaben pro 100 € auf dem Konto. Der negative Achsenabschnitt sieht seltsam aus und ist es nicht: Aufstockung und Kontoeffekt arbeiten um einen normalen Monat herum, legen über ihm etwas drauf und pausieren unter ihm, und bei den Mittelwerten ergibt die Gleichung $-2.410 + 0{,}11 \times 18.400 + 0{,}24 \times 18.400 + 0{,}014 \times 41.000 \approx 4.600$. Wenn das geschätzte System die Regeln wiedergibt, denen der Gründer tatsächlich folgt, beginne ich, dem geschätzten Effekt der Regeln zu trauen.

Der Gründer verdoppelt das Budget also nicht. Bei 1,50 € Buchungen im ersten Jahr pro Euro und einer angenommenen Rohmarge von 80 % bringt ein Euro Werbung $1{,}50 \times 0{,}80 = 1{,}20$, also 1,20 € Deckungsbeitrag im ersten Jahr. Gut, aber nicht die Lizenz zum Gelddrucken, die 2,10 nahelegte. Und ein lineares Modell sagt nichts darüber, ob der nächste Euro so viel bringt wie der durchschnittliche, siehe Grundlagen: Grenzwert gegen Durchschnitt. Er erhöht um 30 % und fährt auf Meta einen geografischen Holdout, um die 1,50 gegen etwas zu prüfen, das kein Instrument braucht. Ich habe über fünf Wege, zu beweisen, dass eine Kampagne wirklich gewirkt hat, geschrieben. Ein Holdout ist der erste davon, und eine Schätzung aus Beobachtungsdaten ist eine Hypothese für den Holdout, kein Ersatz.

Wie du es selbst machst

Du brauchst Monatsdaten (Wochendaten, wenn du das Volumen hast, mit mehr Sorgfalt bei der Saisonalität), mindestens 36 Zeiträume, besser 60. Für jeden Zeitraum: das Ergebnis, die Ausgaben je Kanal, die exogenen Treiber des Ergebnisses, die du messen kannst (organische Anmeldungen, Kalenderindikatoren, Preisänderungen), und die Eingaben in die Budgetentscheidung, so wie sie tatsächlich genutzt wurden (das verzögerte Ergebnis, der Kontostand, der Jahresplan). Schreib die Budgetregel auf, bevor du dir irgendeine Regressionsausgabe ansiehst. Kann das niemand, befrag 20 Minuten lang die Person, die das Budget festlegt. Die Regel gibt es, auch wenn sie nur eine Gewohnheit ist.

In Python ist die ganze Schätzung ein paar Zeilen mit dem Paket linearmodels:

import pandas as pd
from linearmodels.iv import IV2SLS

df = pd.read_csv("werkbuch_monthly.csv", parse_dates=["month"]).set_index("month")
df["bookings_lag1"] = df["bookings"].shift(1)
df["jan"] = (df.index.month == 1).astype(int)
df = df.dropna()

model = IV2SLS(
    dependent=df["bookings"],
    exog=df[["organic_signups", "jan"]].assign(const=1.0),
    endog=df["ad_spend"],
    instruments=df[["bookings_lag1", "opening_cash"]],
)
res = model.fit(cov_type="kernel")   # HAC Standardfehler für Monatsdaten
print(res.summary)
print(res.first_stage)                # partielles F für ad_spend
print(res.sargan)                     # Test auf Überidentifikation
print(res.wu_hausman())               # unterscheidet sich 2SLS wirklich von OLS?

Die Option kernel liefert Standardfehler, die Heteroskedastizität und Autokorrelation zulassen (HAC), und die brauchen Monatsdaten.⁵ first_stage, sargan und wu_hausman sind die Diagnosen, die das Ergebnisobjekt mitbringt.⁶ Ein Detail: linearmodels berichtet die partielle Statistik der ersten Stufe als Chi Quadrat, also teil sie durch die Zahl der Instrumente, hier zwei, um ungefähr die F Statistik zu bekommen, auf die sich die Regel mit der 10 bezieht. Wo sich die Fehler schlecht benehmen, ist der J Test von Hansen der robuste Verwandte des Sargan Tests, verfügbar über den Schätzer IVGMM als j_stat.⁷ Der Code läuft wie gezeigt auf einer simulierten Datei mit 36 Monaten und gibt alle vier Teile aus.

In R ist dasselbe Modell ein Aufruf von ivreg, mit den Instrumenten hinter einem senkrechten Strich.¹ Egal mit welchem Werkzeug, die Prüfungen, bevor du der Zahl traust, sind dieselben fünf:

1. F der ersten Stufe über 10.
2. Der Test auf Überidentifikation verwirft nicht.
3. Der Wu Hausman Test verwirft. Er fragt, ob die Ausgaben als exogen gelten können, im Grunde, ob OLS und 2SLS sich um mehr als Rauschen unterscheiden. Wenn nicht, behalte das einfachere Modell.
4. Keine Autokorrelation der Residuen, oder HAC Standardfehler und eine längere Verzögerung, wenn doch.
5. Eine Grafik der geschätzten gegen die tatsächlichen Ausgaben, damit du siehst, wie viel der Schwankung die Instrumente erklären.

Zeit: eine Woche, um die Daten zusammenzutragen und zu bereinigen, ein Tag für das Modell und eine Woche Streit über die Instrumente, und das ist die Woche, die zählt.

Instrumente in Marketingdaten finden

An der Frage nach dem Instrument scheitern die meisten Versuche, deshalb hier, was funktioniert, ungefähr in der Reihenfolge, in der ich danach greife.

1. Schriftliche Budgetregeln sind die besten Instrumente überhaupt, weil die Regel eine mechanische Verbindung zwischen etwas in der Vergangenheit und den Ausgaben heute ist, und du kannst die Ausschlussannahme direkt aus der Tabelle ablesen: verzögerter Umsatz, verzögerte Marge, ein Anteil am Cashflow des letzten Quartals.
2. Finanzielle Grenzen: der Kontostand zu Monatsbeginn, Kartenlimits, ein Jahresbudget, das mit dem Geschäftsjahr neu startet, die Ausgabensperre zum Quartalsende, die die Finanzleitung verhängt.
3. Unfälle auf der Plattform: eine Kontosperre, ein Trackingausfall, der das automatische Bieten drei Wochen lang blind ließ, eine Richtlinienänderung, die die Hälfte der Anzeigenmotive abgelehnt hat.
4. Mit regionalen Daten können Reichweitengrenzen einer einzigen bundesweiten Kampagne eine ungleiche lokale Präsenz verschaffen. Diese Ungleichheit ist nur dann ein Instrument, wenn du begründen kannst, dass sie nichts mit der lokalen Nachfrage zu tun hat.
5. Menschen: der Urlaub des Gründers, ein Agenturwechsel, eine Elternzeitvertretung, die die Kampagnen nicht angefasst hat.

Jetzt die, die wie Instrumente aussehen und keine sind. Der Index der Kosten pro Klick in deiner Kategorie wirkt ideal, schließlich hast du ihn nicht gewählt. Aber er verändert, was ein Euro Ausgaben kauft, also erreicht er die Buchungen direkt und gehört in die Ergebnisgleichung, wie das Rechenbeispiel unten zeigt. Die Ausgaben der Wettbewerber wirken direkt auf deine Nachfrage. Das Wetter wirkt bei den meisten saisonalen Geschäften auf Ausgaben und Nachfrage zugleich. Über all dem steht das eine Instrument, das keine Begründung braucht: ein randomisierter Holdout. Kannst du die Ausgaben in einer zufälligen Auswahl von Regionen oder Wochen abschalten, tu das, und nutz dieses Kapitel, um die Jahre zu verstehen, in denen du es nicht getan hast.

Rechenbeispiel: ein Instrument testen, indem du es laut aussprichst

Die Buchhalterin von Werkbuch schlägt ein drittes Instrument vor: die monatlichen Kosten pro Klick bei Google für "Handwerkersoftware". Sprich den Ausschluss laut aus: "Die Kosten pro Klick ändern die Buchungen nur darüber, wie viel der Gründer ausgibt." Das stimmt nicht. Bei festem Budget kaufen höhere Kosten pro Klick weniger Klicks und weniger Tests, sie bewegen die Buchungen also bei unveränderten Ausgaben. Das Instrument fällt durch, bevor auch nur eine Zeile Daten geladen ist. Die zwei Wochen des Gründers an der Ostsee jeden August bestehen den Test: "Dass der Gründer im Urlaub ist, ändert die Buchungen nur, weil niemand die Kampagnen aufstockt." Das ist plausibel bei einem Geschäft, dessen Kunden nicht wissen, wo er ist, und denen es auch egal ist, solange bei Werkbuch nichts anderes stillsteht, während er weg ist.

Fallstricke

Schwache Instrumente. Ist das F der ersten Stufe niedrig, ist 2SLS in Richtung OLS verzerrt, genau das, dem du entkommen wolltest, und mit vielen schwachen Instrumenten rutscht es wieder ganz zur OLS Antwort zurück.⁸ Seine Stichprobenverteilung ist breit und seltsam geformt, also unterschätzen die berichteten Standardfehler, wie wenig du weißt.⁴ Die ehrliche Antwort ist, bessere Instrumente zu finden oder zu sagen, dass die Daten die Frage nicht beantworten können.

Instrumente, die den Ausschluss verletzen. Die sind schlimmer, weil dich in der Ausgabe nichts warnt. Der Test auf Überidentifikation vergleicht Instrumente miteinander. Sind alle in dieselbe Richtung falsch, besteht er fröhlich. Der einzige Schutz ist das Argument, das du in klarer Sprache machst, warum diese Variable das Ergebnis nur über die Ausgaben erreichen kann, und die Bereitschaft, dieses Argument zu verlieren.

Nachwirkende Schocks. Sie vergiften verzögerte Instrumente. Sind die Residuen der Buchungen autokorreliert, tragen die Buchungen des Vormonats den Schock dieses Monats, und das Instrument ist verunreinigt. Der Kontostand zu Monatsbeginn, aufgebaut aus den Einnahmen des Vormonats, trägt ihn ebenfalls. Prüf die Autokorrelation der Residuen wie im vorigen Kapitel und schau, ob die Schätzung mit einer Verzögerung von zwei Monaten hält. Bewegt sie sich stark, schreib das ins Papier.

Kleine Stichproben. Sie liefern breite Bänder, und die Versuchung ist groß, Instrumente oder Kontrollvariablen zu streichen, bis das Band vorzeigbar aussieht. Widersteh ihr. 36 Monate sind dünn, das breite Band ist das Ergebnis, und "zwischen 0,5 und 2,5" ist etwas, wonach jemand entscheiden kann. "1,50", nachdem du still ein Instrument entfernt hast, ist es nicht.

Die Form der Reaktion. 2SLS repariert die Richtung der Kausalität, nicht die Form der Reaktion. Sättigen Werbeeffekte, überschätzt ein lineares System die Rendite bei hohen Ausgaben, auch wenn die Simultanität behoben ist. Und das System ist das Geschäft, wie es geführt wurde: Ändert der Gründer nächstes Jahr seine Regel, ändert sich die Ausgabengleichung und mit ihr die Identifikationsstrategie. Schätze neu, wenn sich die Regeln ändern, und behandle die Zahl als Arbeitswert, nicht als Naturkonstante.

Wie ich das für Kunden mache

Die Daten, um die ich bitte, sind unspektakulär: drei bis fünf Jahre monatliche Ergebnisse aus der Buchhaltung, Ausgaben je Kanal, alle exogenen Treiber, die du exportieren kannst, und die Budgetregel, wie sie tatsächlich angewandt wurde, die informellen Teile eingeschlossen.

Es beginnt mit dem kostenlosen Workshop, in dem wir deine Rückkopplungsschleife auf ein Whiteboard zeichnen und jede Regel und Gewohnheit auflisten, die Ausgaben festlegt. Danach zwei Wochen echte Arbeit auf meine Rechnung, bevor du dich auf irgendetwas festlegst: Ich baue das System, teste die Instrumente, mache die Prüfungen von oben und komme mit einer ersten Schätzung zurück und einer ehrlichen Aussage, ob die Daten sie tragen.

Du bekommst ein Modell in deinem eigenen Repository (es läuft ohne mich, und die Regeln für Code und Modelle stehen in den Bedingungen für Analytics und Data Science), ein Entscheidungspapier von zwei Seiten mit einer Zahl, ihrem Band und dem größten Risiko dafür, und ein kleines Dashboard, das eine Frage beantwortet: Was ist ein Euro Werbung dieses Quartal wert, und wie sicher sind wir uns. Wo es Sinn ergibt, schlage ich auch eine Budgetregel vor, die die Daten künftig lesbar hält, meist einen geplanten Holdout oder einen vorab festgelegten Sprung, denn das beste Instrument ist eins, das du entworfen hast. Im Kern ist das Arbeit in der Data Science, und sie passt natürlich zum Performance Marketing, wenn dieselbe Person die Kampagnen fahren und für die Zahl geradestehen soll. Die Honorare stehen auf der Preisseite. Keine Eitelkeitskennzahlen, und jede Zahl kommt mit ihrer Fehlermarge.

Fragen an die Person, die dein Marketingmodell gebaut hat

• Gibt es in unserem Geschäft etwas, schriftlich oder als Gewohnheit, das die Marketingausgaben aus dem Umsatz festlegt? Wenn ja, wie hat das Modell es berücksichtigt?
• Hat das Modell die Ausgaben als etwas behandelt, das uns passiert ist, oder als etwas, das wir als Reaktion auf Ergebnisse gewählt haben?
• Was sind die Instrumente, und würde eine skeptische Kollegin akzeptieren, dass sie den Umsatz nur über die Ausgaben erreichen?
• Wie hoch ist das F der ersten Stufe, und was passiert mit der Schätzung, wenn das schwächste Instrument wegfällt?
• Wie weit hat sich die Antwort zwischen der einzelnen Gleichung und dem System bewegt?
• Wie breit ist das Band um die Zahl, und überlebt die Empfehlung sein unteres Ende?
• Haben wir die Schätzung seither gegen einen Holdout getestet, und wann tun wir es?

Die Serie ist von Mike Grigsbys Marketing Analytics inspiriert.⁹ Die Erklärungen, Beispiele und Zahlen hier sind meine eigenen.

Footnotes

1. Christoph Hanck, Martin Arnold, Alexander Gerber und Martin Schmelzer, Introduction to Econometrics with R, Abschnitt 12.1 The IV estimator with a single regressor and a single instrument, https://www.econometrics-with-r.org/12.1-TIVEWASRAASI.html

2. Google, Ziel ROAS Gebotsstrategie (About Target ROAS bidding), Google Ads Hilfe, https://support.google.com/google-ads/answer/6268637

3. Christoph Hanck, Martin Arnold, Alexander Gerber und Martin Schmelzer, Introduction to Econometrics with R, Abschnitt 12.2 The general IV regression model, https://www.econometrics-with-r.org/12.2-TGIVRM.html

4. Christoph Hanck, Martin Arnold, Alexander Gerber und Martin Schmelzer, Introduction to Econometrics with R, Abschnitt 12.3 Checking instrument validity, Key Concept 12.5, https://www.econometrics-with-r.org/12.3-civ.html

5. Kevin Sheppard, linearmodels Dokumentation, IV2SLS.fit (Kovarianzschätzer), https://bashtage.github.io/linearmodels/iv/iv/linearmodels.iv.model.IV2SLS.fit.html

6. Kevin Sheppard, linearmodels Dokumentation, IVResults (first_stage, sargan, wu_hausman), https://bashtage.github.io/linearmodels/iv/iv/linearmodels.iv.results.IVResults.html

7. Kevin Sheppard, linearmodels Dokumentation, IVGMMResults (j_stat), https://bashtage.github.io/linearmodels/iv/iv/linearmodels.iv.results.IVGMMResults.html

8. Douglas Staiger und James H. Stock, Instrumental variables regression with weak instruments, NBER Technical Working Paper 151, 1994, https://www.nber.org/papers/t0151

9. Mike Grigsby, Marketing Analytics: A Practical Guide to Improving Consumer Insights Using Data Techniques, Kogan Page, 2022, ISBN 9781398608191, https://www.netgalley.co.uk/catalog/book/267990