Simultane Gleichungen: wenn Marketing Umsatz treibt und Umsatz Marketing

Die Gründerin, die ihre Anzeigen aus den Rechnungen des Vormonats bezahlt

Miriam betreibt Werkbank, ein Rails SaaS, das Installateuren, Tischlern und Elektrikern Kalender, Angebote und Rechnungen an einem Ort gibt. Die Tarife beginnen bei 29 € im Monat, ein neuer Kunde ist im ersten Jahr etwa 600 € Umsatz wert, und sie gewinnt zwischen 20 und 45 davon pro Monat. Ihre Budgetregel für Werbung ist einfach und auf den ersten Blick vernünftig: Die Ausgaben für Google und Meta im nächsten Monat sind 25 Prozent der Neuabschlüsse dieses Monats. Guter Monat, mehr Anzeigen. Schwacher Monat, Gürtel enger. Zur Monatsmitte schaut sie aufs Dashboard und stockt die Kampagnen entweder auf oder pausiert sie eine Woche.

Nach drei Jahren stellte sie mir eine berechtigte Frage: Was bringt ein Euro Werbung eigentlich zurück? Ihre Agentur hatte die monatlichen Neuabschlüsse auf die Werbeausgaben regressiert und 2,10 € Neugeschäft pro ausgegebenem Euro gemeldet, mit einer t Statistik, an der man einen Mantel aufhängen könnte. Dann schlug sie vor, das Budget zu verdoppeln. Ich habe die Arithmetik nicht angezweifelt. Ich habe das Modell angezweifelt, denn in Miriams Geschäft verursachen Werbeausgaben nicht einfach Abschlüsse. Abschlüsse verursachen Werbeausgaben; das ist ihre Regel, sie steht in einer Tabelle. Wenn zwei Variablen einander verursachen, liegt eine einzelne Regressionsgerade leise falsch, und zwar in einer Richtung, die man vorhersagen kann. In ihrem Fall schmeichelt sie den Anzeigen um etwa 40 Prozent. Die Zahlen in diesem Artikel sind illustrativ; der Mechanismus ist es nicht.

Wo das in der Serie steht

Das ist Kapitel 11 von 21 und der Auftakt zu Teil drei, den Interdependenztechniken (Kapitel 11 bis 14). In Teil zwei hatten wir immer eine abhängige Variable links und eine Liste von Ursachen rechts; das letzte dieser Kapitel war Nachfrage prognostizieren: Autokorrelation, Saisonalität und ehrliche Fehlerbänder, und seine Lektion über Schocks, die von einem Monat in den nächsten nachwirken, wird hier wieder wichtig. Ab jetzt stehen die Variablen zueinander in Beziehung, statt sich in einer Richtung aufzureihen. Danach folgt Hauptkomponenten und Faktorenanalyse für Marketer, wo viele Variablen gemeinsam schwingen, ohne dass eine davon das Ergebnis wäre. Dieses Kapitel ist die Brücke: zwei Ergebnisse, jedes zugleich eine Ursache.

Budgetregeln bauen Rückkopplungsschleifen, und das Marketing ist voll davon

Simultanität ist der höfliche Begriff dafür, dass zwei Variablen einander innerhalb derselben Periode bestimmen. Das Marketing erzeugt sie ständig, fast immer durch völlig vernünftige Managemententscheidungen. Budget als Anteil vom Umsatz ist die häufigste: Der Umsatz setzt die Ausgaben, die Ausgaben bewegen den Umsatz. Preis und Menge ist die älteste: Ein Shop senkt die Preise, wenn die Ware liegen bleibt, die Nachfrage steigt bei niedrigeren Preisen, und über die Zeit betrachtet sind die beiden ein Durcheinander aus beiden Effekten, weshalb naive Preiselastizitäten so oft zu klein oder mit dem falschen Vorzeichen herauskommen. Automatisches Bidding ist die neueste: Eine Ziel ROAS Strategie erhöht die Gebote dort, wo Conversions wahrscheinlich sind, Conversions steigen dort, wo die Gebote höher sind, und die Plattform baut dir die Schleife im Auktionstakt.

Hier ist Miriams Schleife aufgezeichnet. Der gefährliche Pfeil ist der vom unbeobachteten Schock, weil er über die Abschlüsse bis zu den Werbeausgaben reicht.

Das Werkbank System: Abschlüsse und Werbeausgaben zeigen aufeinander, und was diesen Monat die Abschlüsse hebt, hebt auch die Ausgaben.

Du könntest einwenden, dass eine strenge Version von Miriams Regel die Abschlüsse des Vormonats verwendet, die schon feststehen, wenn das Budget für diesen Monat gesetzt wird, sodass die Schleife innerhalb eines einzelnen Monats unterbrochen sein sollte. Im Prinzip ja. Zwei Dinge verderben es. Erstens reagiert sie zur Monatsmitte, also fliessen die Abschlüsse dieses Monats doch in die Ausgaben dieses Monats. Zweitens halten die unbeobachteten Dinge, die Abschlüsse nach oben treiben (ein Ausfall beim Mitbewerber, eine Erwähnung in einem Fachmagazin, ein Grosshändler, der das Produkt empfiehlt), meist länger als einen Monat, sodass der Schock des Vormonats diesen Monat noch lebt und zugleich in den Abschlüssen des Vormonats steckt. Die Autokorrelation aus dem letzten Kapitel ist genau der Grund, warum eine Verzögerung allein dich nicht rettet.

Warum die einzelne Regression verzerrt ist, erst in Worten, dann in Symbolen

Schreib das System ehrlich auf. Zwei Gleichungen, eine für jede Variable, die zugleich Ursache und Wirkung ist:

$R_t = \alpha_0 + \alpha_1 A_t + \alpha_2 S_t + \alpha_3 J_t + u_t$

$A_t = \beta_0 + \beta_1 R_t + \beta_2 R_{t-1} + \beta_3 B_t + v_t$

In der ersten Gleichung ist $R_t$ der Wert der Neuabschlüsse in Euro im Monat $t$ , $A_t$ sind die Werbeausgaben im selben Monat, $S_t$ ist die Zahl der organischen Anmeldungen aus dem Softwareverzeichnis und aus Empfehlungen, $J_t$ ist ein Jänner Indikator (Handwerksbetriebe organisieren sich im Jänner neu, jedes Jahr) und $u_t$ ist alles andere, was die Abschlüsse in diesem Monat bewegt hat. Die Zahl, die wir wollen, ist $\alpha_1$ : Euro Neuabschlüsse pro Euro Werbung. In der zweiten Gleichung ist $\beta_1$ Miriams Reaktion zur Monatsmitte, $\beta_2$ die 25 Prozent Regel auf die Abschlüsse des Vormonats $R_{t-1}$ , $B_t$ der Kontostand zu Monatsbeginn (sie stockt nicht auf, wenn das Konto dünn ist) und $v_t$ ihre Laune, ihr Urlaub und was sonst noch am Budget rüttelt.

Nun stell dir vor, ein Fachmagazin erwähnt Werkbank im März. Das ist ein positives $u_t$ : Die Abschlüsse liegen höher, als Anzeigen und Anmeldungen vorhersagen würden. Miriam sieht einen starken Monat und stockt die Kampagnen auf, also steigt auch $A_t$ . Die Regression sieht ein hohes $A_t$ und ein hohes $R_t$ in derselben Zeile und schreibt den Erfolg den Anzeigen zu, und unter ihrer Regel tut sie das jeden Monat. Formal konvergiert die Methode der kleinsten Quadrate gegen

$\operatorname{plim}\ \hat{\alpha}_1^{OLS} = \alpha_1 + \frac{\operatorname{Cov}(A_t, u_t)}{\operatorname{Var}(A_t)}$

Der zweite Term ist die Simultanitätsverzerrung. $\operatorname{Cov}(A_t, u_t)$ ist die Kovarianz zwischen Ausgaben und Abschlussschock, positiv, sobald $\beta_1 > 0$ , weil der Schock über die Reaktion in die Ausgaben wandert, und $\operatorname{Var}(A_t)$ ist die Varianz der Ausgaben. Die Verzerrung wächst mit $\beta_1$ und mit der Grösse der Schocks und schrumpft, wenn die Ausgaben aus eigenen Gründen stärker schwanken. Achte darauf, was fehlt: die Stichprobengrösse. Sechsunddreissig Monate oder dreihundertsechzig, dieselbe falsche Antwort mit einem immer engeren Standardfehler darum herum. Mehr Daten machen einen verzerrten Schätzer nur selbstsicherer falsch.

Drei Wörter, die Statistiker über Schätzer verwenden, und das eine, das dich interessieren sollte

Ein Schätzer ist unverzerrt, wenn er über viele wiederholte Stichproben im Durchschnitt auf dem wahren Wert landet. Er ist konsistent, wenn er mit wachsender Stichprobe gegen den wahren Wert konvergiert. Er ist effizient, wenn er unter den Schätzern seiner Klasse die kleinste Varianz hat. Eine Küchenwaage, die immer 200 Gramm zu viel anzeigt, ist präzise und verzerrt. Eine Waage, die wackelt, aber im Mittel stimmt, ist unverzerrt und ineffizient. Du willst die zweite, und dein Steuerberater auch.

Unter Simultanität ist OLS weder unverzerrt noch konsistent. Es ist sehr effizient darin, das Falsche zu schätzen. Die zweistufige Methode der kleinsten Quadrate, die wir gleich bauen, ist konsistent, aber in kleinen Stichproben nicht unverzerrt, und weniger effizient als OLS: Die Standardfehler sind breiter, manchmal deutlich. Das ist der Tausch, eine präzise falsche Zahl gegen eine unscharfe richtige, und im Marketing gehst du ihn jedes Mal ein, denn „1,50, plausibel zwischen 0,5 und 2,5" ist eine bessere Grundlage für eine Budgetentscheidung als „2,10 plus oder minus 0,6" um eine Mitte, die es nicht gibt. Ich habe schon darüber geschrieben, wie sich Korrelation als Kausalität verkleidet; Simultanität ist dasselbe Problem mit dem Pfeil in beide Richtungen.

Die reduzierte Form: was die exogenen Variablen allein erzählen

Setz die Ausgabengleichung in die Abschlussgleichung ein und umgekehrt, dann sortier die Terme. Beide endogenen Variablen stehen am Ende nur noch in Abhängigkeit von dem, was ausserhalb des Systems entschieden wird:

$R_t = \pi_{10} + \pi_{11} S_t + \pi_{12} J_t + \pi_{13} R_{t-1} + \pi_{14} B_t + \varepsilon_{1t}$

$A_t = \pi_{20} + \pi_{21} S_t + \pi_{22} J_t + \pi_{23} R_{t-1} + \pi_{24} B_t + \varepsilon_{2t}$

Das ist die reduzierte Form. Jedes $\pi$ ist ein Knoten aus Strukturkoeffizienten, zum Beispiel $\pi_{13} = \alpha_1 \beta_2 / (1 - \alpha_1 \beta_1)$ und $\pi_{23} = \beta_2 / (1 - \alpha_1 \beta_1)$ , und die $\varepsilon$ Terme sind Mischungen aus $u_t$ und $v_t$ . Rechts stehen nur noch exogene Variablen, also darf jede Gleichung der reduzierten Form ohne Verlegenheit mit OLS geschätzt werden. Und jetzt schau auf das Verhältnis: $\pi_{13} / \pi_{23} = \alpha_1$ . Der Effekt der Vormonatsabschlüsse auf die Abschlüsse dieses Monats, geteilt durch ihren Effekt auf die Ausgaben dieses Monats, ist der Effekt der Ausgaben auf die Abschlüsse. Die Budgetregel bewegt die Ausgaben aus einem Grund, der mit dem Schock dieses Monats nichts zu tun hat, also ist das, was die Abschlüsse darauf tun, der Werbeeffekt, sauber. Das ist die ganze Idee eines Instruments. Mit zwei ausgeschlossenen Variablen, $R_{t-1}$ und $B_t$ , bekommst du zwei solche Verhältnisse und musst sie versöhnen, und genau das tut die zweistufige Methode auf geordnete Weise.

Identifikation: können die Daten die beiden Richtungen überhaupt unterscheiden?

Stell dir vor, du hättest nur $R_t$ und $A_t$ . Eine Punktwolke, zwei Geraden hindurch, und keine Möglichkeit zu wissen, welche die Abschlussgleichung ist und welche die Ausgabengleichung. Das System wäre nicht identifiziert, und keine Datenmenge würde das ändern. Was eine Gleichung identifiziert, ist eine Variable, die aus ihr ausgeschlossen ist und anderswo im System vorkommt. Die Ordnungsbedingung sagt das als Zählung: Für jede Gleichung muss die Zahl der aus ihr ausgeschlossenen exogenen Variablen mindestens so gross sein wie die Zahl der endogenen Variablen auf ihrer rechten Seite. Mit den üblichen Buchstaben

$K - k \geq m - 1$

wobei $K$ die Zahl der exogenen Variablen im ganzen System ist, $k$ die Zahl davon in der Gleichung, die du schätzen willst, und $m$ die Zahl der endogenen Variablen in dieser Gleichung einschliesslich der linken. Für die Abschlussgleichung: vier exogene Variablen im System, zwei davon in der Gleichung, also $K - k = 2$ ; zwei endogene Variablen, also $m - 1 = 1$ . Identifiziert, sogar überidentifiziert, und das ist eine gute Nachricht, weil wir so die Instrumente gegeneinander testen können. Die Ausgabengleichung schliesst $S_t$ und $J_t$ aus und hat einen endogenen Regressor: ebenfalls identifiziert.

Die Ordnungsbedingung ist notwendig, aber nicht hinreichend; dahinter steht eine Rangbedingung, die verlangt, dass die ausgeschlossenen Variablen die endogene Variable tatsächlich bewegen, was in der Praxis auf die F Statistik der ersten Stufe weiter unten hinausläuft. Aber der tiefere Punkt ist gar nicht statistisch. „Ausgeschlossen" ist eine Behauptung über die Welt. Sie besagt, dass Miriams Kontostand zu Monatsbeginn nicht selbst verändert, wie viele Tischler diesen Monat eine Terminsoftware kaufen, ausser über die Anzeigen, die er bezahlt. Das ist eine Aussage über Tischler, nicht über Daten, und du musst sie laut aussprechen. Wenn ein Kollege lacht, such ein anderes Instrument.

Zweistufige kleinste Quadrate, Schritt für Schritt

Stufe eins: Regressiere $A_t$ auf jede exogene Variable im System, also $S_t$ , $J_t$ , $R_{t-1}$ und $B_t$ , und behalte die angepassten Werte $\hat{A}_t$ . Sie sind der Teil der Werbeausgaben, den Budgetregel, Kontostand und Kalender erklären, und keiner davon weiss etwas vom Abschlussschock dieses Monats. Stufe zwei: Regressiere $R_t$ auf $\hat{A}_t$ , $S_t$ und $J_t$ . Der Koeffizient auf $\hat{A}_t$ ist die 2SLS Schätzung von $\alpha_1$ . In Matrixform ist das Ganze eine Zeile:

$\hat{\theta}_{2SLS} = (X' P_Z X)^{-1} X' P_Z y, \qquad P_Z = Z (Z'Z)^{-1} Z'$

Hier ist $y$ der Vektor der Abschlüsse, $X$ enthält die Regressoren der Abschlussgleichung (Konstante, $A_t$ , $S_t$ , $J_t$ ), $Z$ enthält alle exogenen Variablen plus Konstante, und $P_Z$ ist die Projektion auf den von den Instrumenten aufgespannten Raum. $X$ mit $P_Z$ zu multiplizieren ersetzt die Ausgabenspalte durch ihre Anpassung aus der ersten Stufe und lässt die exogenen Spalten, wie sie sind, weil sie schon in $Z$ stecken. Eine praktische Warnung: Wenn du die beiden Stufen von Hand als zwei getrennte Regressionen rechnest, sind die Standardfehler nach Stufe zwei falsch, weil sie aus Residuen mit $\hat{A}_t$ statt $A_t$ stammen. Jedes ernsthafte Paket korrigiert das. Nimm eines.

Das Verfahren, wie ich es tatsächlich fahre, mit den zwei Ausgängen, an denen du zurück statt vorwärts gehst.

Die Werkbank Zahlen, Zeile für Zeile

Sechsunddreissig Monate von Miriams Daten. Im Schnitt hatte sie 18.400 € Neuabschlüsse im Monat, 4.600 € Werbeausgaben, 31 organische Anmeldungen und einen Kontostand zu Monatsbeginn um 41.000 €. Die Abschlussgleichung, beide Wege geschätzt:

Term	OLS Schätzung	OLS Standardfehler	2SLS Schätzung	2SLS Standardfehler
Konstante (€)	4.120	1.480	5.860	1.930
Werbeausgaben (€ Abschlüsse pro € Ausgabe)	2,10	0,31	1,50	0,52
Organische Anmeldungen (€ pro Anmeldung)	96	28	112	34
Jänner (€)	2.300	940	2.410	1.060
R Quadrat	0,71		0,64
F der ersten Stufe auf die zwei Instrumente			18,4
Hansen J Test auf Überidentifikation, p Wert			0,41

Von oben gelesen. Die Konstante ist ein Monat ohne Anzeigen, ohne organische Anmeldungen und ohne Jänner; unter 2SLS ist sie grösser, weil die Anzeigen weniger Anerkennung bekommen und mehr vom Grundniveau im Grundniveau bleibt. Die Werbezeile ist die Schlagzeile: 2,10 € pro Euro unter OLS, 1,50 € unter 2SLS, die einzelne Gleichung hat den Effekt also um 40 Prozent überschätzt. Der Standardfehler hat sich fast verdoppelt, von 0,31 auf 0,52. Das ist die Effizienz, die wir hergegeben haben, und ich nehme lieber ein 95 Prozent Band von grob 0,5 bis 2,5 um die richtige Mitte als ein enges Band um die falsche. Die organischen Anmeldungen gewinnen ein wenig, von 96 € auf 112 € pro Anmeldung, weil ein Teil des Umsatzes, den OLS den Anzeigen zugeschoben hatte, dem organischen Kanal gehörte, der zufällig in denselben Monaten stark war. Der Jänner bewegt sich kaum: Nichts in der Rückkopplungsschleife hat mit dem Kalender zu tun.

Die unteren drei Zeilen sind die Prüfungen. R Quadrat fällt unter 2SLS, und das soll so sein; 2SLS maximiert nicht die Anpassung, und ein höheres R Quadrat für OLS ist kein Argument zu seinen Gunsten. Das F von 18,4 in der ersten Stufe sagt, dass die beiden Instrumente genug von der Streuung der Ausgaben erklären, um nützlich zu sein; alles unter 10 gilt als schwach. Der Hansen J Test fragt, ob die beiden Instrumente dieselbe Geschichte über $\alpha_1$ erzählen; ein p Wert von 0,41 heisst, sie tun es, im Rauschen. Wäre er 0,01 gewesen, würde eines lügen, und ich hätte entscheiden müssen, welches.

Die zweite Gleichung ist weniger glamourös, sagt dir aber, ob das Modell das Geschäft verstanden hat:

Term	OLS Schätzung	2SLS Schätzung
Konstante (€)	380	610
Abschlüsse dieser Monat (€ Ausgabe pro €)	0,21	0,11
Abschlüsse Vormonat (€ Ausgabe pro €)	0,19	0,24
Kontostand zu Monatsbeginn (€ Ausgabe pro €)	0,012	0,014

OLS behauptet, Miriam reagiere auf den laufenden Monat mit 21 Cent Mehrausgabe pro Euro Abschluss; 2SLS sagt 11 Cent, viel näher an dem, was sie als „eine bescheidene Aufstockung, wenn es gut läuft" beschreibt. Die 25 Prozent Regel erscheint unter 2SLS als 0,24, fast genau die erklärte Politik, während OLS sie mit 0,19 ansetzt, weil es einen Teil des Verdienstes der Regel dem laufenden Monat gestohlen hatte. Der Kontostand zählt ein wenig: rund 1,40 € Mehrausgabe pro 100 € am Konto. Wenn das geschätzte System die Regeln reproduziert, denen die Gründerin tatsächlich folgt, beginne ich dem geschätzten Effekt der Regeln zu trauen. Und die Überschätzung skaliert mit der Reaktion: Simuliere dasselbe System mit 20 Cent Reaktion statt 11 und OLS meldet etwa 2,70 für wahre 1,50.

Was hat Miriam damit gemacht? Das Budget nicht verdoppelt. Bei 1,50 € Erstjahresabschlüssen pro Euro und rund 80 Prozent Rohmarge bringt ein Euro Werbung im ersten Jahr etwa 1,20 € Deckungsbeitrag. Gut, aber nicht die Lizenz zum Gelddrucken, die 2,10 versprach, und bei höheren Ausgaben biegt die Kurve nach unten, wie bei jedem Kanal. Sie hat das Budget um 30 Prozent angehoben, und wir haben auf Meta einen geografischen Holdout gefahren, um die 1,50 an etwas zu prüfen, das gar kein Instrument braucht. Ich habe über fünf Wege, zu beweisen, dass eine Kampagne wirklich gewirkt hat geschrieben; der Holdout ist der erste davon, und eine Schätzung aus Beobachtungsdaten ist eine Hypothese für den Holdout, kein Ersatz.

So rechnest du es selbst

Du brauchst Monatsdaten (Wochendaten, wenn du das Volumen hast, dann aber mehr Sorgfalt bei der Saisonalität), mindestens 36 Perioden, besser 60. Pro Periode: das Ergebnis, Ausgaben je Kanal, die messbaren exogenen Treiber des Ergebnisses (organische Anmeldungen, Kalenderindikatoren, Preisänderungen) und die Eingaben der Budgetentscheidung, wie sie tatsächlich verwendet wurden (das verzögerte Ergebnis, Kontostand, Jahresplan). Schreib die Budgetregel auf, bevor du irgendeinen Regressionsoutput ansiehst. Wenn das niemand kann, befrag zwanzig Minuten lang die Person, die das Budget setzt; die Regel existiert, auch wenn sie eine Gewohnheit ist.

In Python ist die ganze Schätzung mit dem Paket linearmodels ein paar Zeilen:

import pandas as pd
from linearmodels.iv import IV2SLS

df = pd.read_csv("werkbank_monatlich.csv", parse_dates=["monat"]).set_index("monat")
df["abschluesse_lag1"] = df["abschluesse"].shift(1)
df["jaenner"] = (df.index.month == 1).astype(int)
df = df.dropna()

modell = IV2SLS(
    dependent=df["abschluesse"],
    exog=df[["organische_anmeldungen", "jaenner"]].assign(const=1.0),
    endog=df["werbeausgaben"],
    instruments=df[["abschluesse_lag1", "kontostand"]],
)
res = modell.fit(cov_type="kernel")  # HAC Standardfehler für Monatsdaten
print(res.summary)
print(res.first_stage)               # partielles F für werbeausgaben
print(res.sargan)                    # Test auf Überidentifikation
print(res.wu_hausman())              # unterscheidet sich 2SLS überhaupt von OLS?

In R ist dasselbe Modell ein Aufruf von ivreg mit den Instrumenten hinter einem senkrechten Strich. Egal mit welchem Werkzeug, die Prüfungen vor dem Vertrauen sind dieselben fünf. F der ersten Stufe über 10. Der Überidentifikationstest lehnt nicht ab. Der Wu Hausman Test lehnt ab, denn wenn sich OLS und 2SLS nicht unterscheiden, sag es und bleib beim einfacheren Modell. Keine Autokorrelation der Residuen, sonst HAC Standardfehler und eine längere Verzögerung. Und ein Plot der angepassten gegen die tatsächlichen Ausgaben, damit du siehst, wie viel der Streuung die Instrumente erklären. Zeit: eine Woche fürs Zusammentragen und Bereinigen der Daten, ein Tag fürs Modell und eine Woche Streit über Instrumente, und das ist die Woche, die zählt.

Instrumente in Marketingdaten finden

An der Instrumentenfrage sterben die meisten Versuche, darum hier, was tatsächlich funktioniert, ungefähr in der Reihenfolge, in der ich danach greife. Schriftliche Budgetregeln sind die besten Instrumente überhaupt, weil die Regel eine mechanische Verbindung zwischen etwas Vergangenem und den heutigen Ausgaben ist und du die Ausschlussbedingung direkt aus der Tabelle ablesen kannst: verzögerter Umsatz, verzögerte Marge, ein Anteil des Cashflows des Vorquartals. Zweitens finanzielle Grenzen: Kontostand, Kartenlimits, ein Jahresbudget, das im April zurückgesetzt wird, die Quartalsende Sperre der Finanzleitung. Drittens Plattformunfälle: eine Kontosperre, ein Trackingausfall, der das automatische Bidding drei Wochen blind liess, eine Richtlinienänderung, die die Hälfte der Anzeigen ablehnte. Viertens, mit regionalen Daten, erzeugen Reichweitenkappungen aus einer einzigen nationalen Kampagne ungleiche lokale Kontakte, und diese Ungleichheit ist nahe am Zufall. Fünftens Menschen: der Urlaub der Gründerin, ein Agenturwechsel, eine Karenzvertretung, die die Kampagnen nicht angerührt hat.

Nun die, die wie Instrumente aussehen und keine sind. Der Klickpreisindex deiner Branche scheint ideal, weil das Bieten der Mitbewerber deine Kosten bewegt und du es nicht gewählt hast. Aber er verändert, was ein Euro Ausgabe kauft, also gehört er in die Ergebnisgleichung, und ein Instrument, das in die Ergebnisgleichung gehört, ist kein Instrument. Die Ausgaben der Mitbewerber wirken direkt auf deine Nachfrage. Das Wetter wirkt bei den meisten saisonalen Geschäften auf Ausgaben und Nachfrage zugleich. Über all dem steht das eine Instrument, das kein Argument braucht: ein randomisierter Holdout. Wenn du die Ausgaben in einer zufälligen Menge von Regionen oder Wochen abschalten kannst, tu das, und nutz dieses Kapitel, um die Jahre zu verstehen, in denen du es nicht getan hast.

Fallstricke

Schwache Instrumente sind der klassische Fehler. Ist das F der ersten Stufe niedrig, ist 2SLS in Richtung OLS verzerrt, also genau dorthin, wo du weg wolltest, und seine Stichprobenverteilung ist breit und seltsam geformt, sodass die gemeldeten Standardfehler untertreiben, wie wenig du weisst. Die ehrliche Antwort ist, bessere Instrumente zu finden oder zu sagen, dass die Daten die Frage nicht beantworten können.

Instrumente, die die Ausschlussbedingung verletzen, sind schlimmer, weil dich nichts im Output warnt. Der Hansen J Test vergleicht die Instrumente untereinander; sind alle in dieselbe Richtung falsch, besteht er fröhlich. Der einzige Schutz ist das Argument in klarer Sprache, warum diese Variable das Ergebnis nur über die Ausgaben erreichen kann, und die Bereitschaft, dieses Argument zu verlieren.

Nachwirkende Schocks vergiften verzögerte Instrumente. Sind die Abschlussresiduen autokorreliert, tragen die Vormonatsabschlüsse den Schock dieses Monats, und das Instrument ist kontaminiert. Prüf die Autokorrelation der Residuen wie im letzten Kapitel und schau, ob die Schätzung mit zwei Monaten Verzögerung hält. Bewegt sie sich stark, schreib das ins Memo.

Kleine Stichproben geben breite Bänder, und die Versuchung ist, Instrumente oder Kontrollen zu streichen, bis das Band präsentabel aussieht. Widersteh ihr. Sechsunddreissig Monate sind dünn dafür; das breite Band ist das Ergebnis, und wer „zwischen 0,5 und 2,5" hört, kann vernünftig handeln, während wer „1,50" hört, nachdem du still ein Instrument entfernt hast, das nicht kann.

Die funktionale Form bleibt dein Problem. Zweistufige kleinste Quadrate reparieren die Richtung der Kausalität, nicht die Form der Reaktion; wenn Werbeeffekte sättigen, überschätzt ein lineares System den Ertrag bei hohen Ausgaben auch nach der Simultanitätskorrektur. Und das System ist das Geschäft, wie es geführt wurde: Ändert Miriam nächstes Jahr ihre Regel, ändert sich die Ausgabengleichung und mit ihr die Identifikationsstrategie. Schätz neu, wenn sich die Regeln ändern, und behandle die Zahl als Arbeitsgrösse, nicht als Naturkonstante.

So mache ich das für Kunden

Die Daten, um die ich bitte, sind unglamourös: drei bis fünf Jahre monatliche Ergebnisse aus der Buchhaltung, Ausgaben je Kanal aus den Werbeplattformen, die exogenen Treiber, die du exportieren kannst (organische Anmeldungen, Preislisten, Kalender), und die Budgetregel, wie sie tatsächlich angewandt wurde, samt der informellen Teile. Der erste Monat beginnt mit dem kostenlosen Workshop, in dem wir deine Rückkopplungsschleife ans Whiteboard zeichnen und jede Regel und Gewohnheit auflisten, die Ausgaben setzt. Dann zwei Wochen echte Arbeit auf meine Rechnung, nicht deine: Ich baue das System, teste die Instrumente, fahre die Prüfungen von oben und komme mit einer ersten Schätzung und einer ehrlichen Aussage zurück, ob die Daten sie tragen.

Du bekommst ein Modell in deinem eigenen Repository (alles, was ich baue, gehört dir und läuft ohne mich), ein zweiseitiges Entscheidungsmemo mit einer Zahl, ihrem Band und dem grössten einzelnen Risiko dafür, und ein kleines Dashboard, das eine Frage beantwortet: Was ist ein Euro Werbung dieses Quartal wert, und wie sicher sind wir. Wo es passt, schlage ich auch eine Budgetregel vor, die die Daten künftig lesbar hält, typischerweise einen geplanten Holdout oder eine vorab festgelegte Stufe, denn das beste Instrument ist eines, das du selbst entworfen hast. Im Kern ist das Data Science Arbeit, und sie passt natürlich zu Performance Marketing, wenn dieselbe Person die Kampagnen fahren und für die Zahl geradestehen soll. Der Preis ist ein Fixhonorar für ein definiertes Stück Arbeit oder eine Provision auf Wachstum, klar erklärt auf der Preisseite. Keine Vanity Metrics, und jede Zahl kommt mit ihrer Fehlermarge.

Fragen an die Person, die dein Marketingmodell gebaut hat

Gibt es in unserem Geschäft etwas, schriftlich oder aus Gewohnheit, das die Marketingausgaben vom Umsatz ableitet? Falls ja, wie hat das Modell das berücksichtigt?
Hat das Modell die Ausgaben als etwas behandelt, das uns passiert ist, oder als etwas, das wir als Reaktion auf Ergebnisse gewählt haben?
Was sind die Instrumente, und würde ein skeptischer Kollege akzeptieren, dass sie den Umsatz nur über die Ausgaben erreichen?
Wie hoch ist das F der ersten Stufe, und was passiert mit der Schätzung, wenn das schwächste Instrument wegfällt?
Wie weit hat sich die Antwort zwischen der einzelnen Gleichung und dem System bewegt?
Wie breit ist das Band um die Zahl, und überlebt die Empfehlung sein unteres Ende?
Haben wir die Schätzung seither an einem Holdout geprüft, und wann tun wir es?

Diese Serie ist inspiriert von Mike Grigsbys Marketing Analytics (Kogan Page). Erklärungen, Beispiele und Zahlen hier sind meine eigenen.