Polynomial Distributed Lags: wie lange wirkt Marketing nach?

Der Newsletter, der weiterwirkt, wenn du ihn längst vergessen hast

Lena betreibt Korbwerk, einen erfundenen Onlineshop für Geschenkkörbe in Hamburg unter korbwerk.example. Sie verschickt einmal im Monat einen Newsletter an rund 30.000 Abonnentinnen und Abonnenten. Nach jedem Versand gibt es einen Buckel in den Bestellungen, und Lena macht etwas völlig Vernünftiges: Sie zählt die zusätzlichen Bestellungen in der Versandwoche, teilt durch die verschickten Mails und nennt das die Conversion Rate der Mail. Heraus kommt knapp eine Bestellung pro 1.000 Mails, unter 0,1 %. Nicht berauschend. Sie will den Newsletter auf einmal im Quartal zurückfahren, um die Zeit der Texterin zu sparen.

Das Problem: Der Buckel in der Versandwoche ist nur die erste Rate. Eine Kundin liest die Mail am Dienstag, erzählt ihrer Schwester vom Afternoon Tea Korb, und zehn Tage später bestellen die beiden ihn gemeinsam zum Geburtstag der Mutter. Ein Teil der Wirkung kommt in der zweiten Woche an, ein Teil in der dritten. Richtig gemessen ist der Newsletter rund 4,3 Bestellungen pro 1.000 Mails wert, mehr als das Vierfache dessen, was Lena gezählt hat, und fast vier Fünftel davon kommen nach der Woche, in der sie aufgehört hat zu zählen.

Genau das leistet ein Distributed Lag Modell. Es sagt dir, wie viel der Wirkung einer Marketingmaßnahme sofort ankommt, wie viel später und wann nichts mehr kommt. Wenn du das weißt, weißt du auch, wann der nächste Versand fällig ist. Korbwerk und jede Zahl in diesem Kapitel sind erfunden, damit ich jeden Schritt zeigen kann.

Wo dieses Kapitel in der Serie steht

Das ist Kapitel 5 von 21 meiner Serie Marketing Analytics, in Teil zwei, den Verfahren mit abhängiger Variable, bei denen ein Geschäftsergebnis (Bestellungen, Buchungen, Anfragen) durch Dinge erklärt wird, die du steuerst. Das vorige Kapitel zu Nachfrage und Preiselastizität nutzte gewöhnliche Regression, bei der Ursache und Wirkung in derselben Periode liegen. Dieses Kapitel nimmt die Zeit dazu: Die Ursache passiert in Woche 10, und die Wirkung tröpfelt über die Wochen 10 bis 15 heraus.

Das nächste Kapitel zur Poisson Regression kümmert sich um ein anderes Problem, um Ergebnisse, die Zählwerte sind und nicht negativ werden können. Später, im Kapitel zu Media Mix Modelling und Adstock, kommt die Idee der Verzögerung in anderem Gewand zurück. Die Grundlagen, die hier vorkommen, vom Mittelwert bis zur Regression, werden auf der Seite Grundlagen von Grund auf aufgebaut.

Eine einzige Zahl hat für die Wirkung einer Mail die falsche Form

Wenn du die wöchentlichen Bestellungen auf die wöchentlich verschickten Mails regressierst, bekommst du einen Koeffizienten: Bestellungen pro 1.000 Mails, in derselben Woche. Jede Bestellung, die wegen dieser Mail in einer späteren Woche kommt, wird dem zugeschrieben, was in jener Woche sonst passiert ist, oder der Basis, oder dem Rauschen. Der Koeffizient ist zu klein, und die Entscheidung geht in eine vorhersehbare Richtung schief: Du investierst zu wenig in alles mit langsamer Wirkung und zu viel in alles mit schneller.

Die Lösung ist keine klügere Einzelzahl. Die Lösung ist, zuzugeben, dass die Wirkung eine Kurve über die Zeit ist, diese Kurve zu schätzen und sie dann mit den Zahlen zusammenzufassen, auf die es ankommt: wo sie ihren Gipfel hat, wann sie abgeklungen ist und was sie zusammen ergibt.

Ein Beispiel: Lenas Newsletter im März geht an 30.000 Abonnenten. In der Versandwoche liegen die Bestellungen 28 über dem üblichen Niveau, eine Rate für dieselbe Woche sagt also $28 \div 30 = 0{,}93$ Bestellungen pro 1.000 Mails. In den drei Wochen danach liegen die Bestellungen 40, 34 und 19 über normal, während sich sonst nichts geändert hat. Die Zahl für dieselbe Woche schreibt der Mail 28 Bestellungen gut. Die Kurve schreibt ihr $28 + 40 + 34 + 19 = 121$ gut, und die meisten davon würden sonst als Glück verbucht.

Das Distributed Lag Modell

Schreib die Bestellungen in Woche $t$ als $y_t$ und die verschickten Mails (in Tausend) in Woche $t$ als $x_t$. Ein Distributed Lag Modell sagt, dass die Bestellungen dieser Woche von den Mails dieser Woche und von den Mails der vorangegangenen $L$ Wochen abhängen, jede mit ihrem eigenen Gewicht:

$$y_t = \alpha + \sum_{k=0}^{L} \beta_k \, x_{t-k} + \gamma^\top z_t + \varepsilon_t$$

Dabei ist $y_t$ das Ergebnis in Woche $t$, $\alpha$ die Basis (die Bestellungen, die ganz ohne Mail kämen), $\beta_k$ die Wirkung von 1.000 Mails, die vor $k$ Wochen verschickt wurden, auf die Bestellungen dieser Woche, $x_{t-k}$ die Zahl der Mails $k$ Wochen vor Woche $t$, $L$ die Länge der Verzögerung (wie viele Wochen zurück die Wirkung reichen darf), $z_t$ eine Reihe von Kontrollvariablen wie Ausgaben für bezahlte Suche, Feiertagswochen und ein Trend, $\gamma$ enthält deren Koeffizienten, und $\varepsilon_t$ ist der Fehler. Die Gewichte $\beta_0, \beta_1, \dots, \beta_L$ sind die Lag Kurve, und um diese Kurve geht es. Es ist eine multiple Regression wie jede andere, mit verzögerten Kopien einer Variable als Eingaben. Grundlagen: Regression

Drei Kennzahlen der Kurve erledigen den größten Teil der Arbeit. Die Gesamtwirkung ist die Summe der Gewichte:

$$\beta_{\text{total}} = \sum_{k=0}^{L} \beta_k$$

Dabei ist $\beta_{\text{total}}$ die Zahl der Bestellungen, die 1.000 Mails am Ende bringen, über alle Wochen, in denen sie überhaupt etwas bringen, und $\beta_k$ und $L$ sind wie oben. Es ist eine schlichte Summe, dieselbe Rechnung, auf der auch der Mittelwert aufbaut. Grundlagen: der Mittelwert Der Gipfel der Verzögerung ist das $k$ mit dem größten $\beta_k$. Und die mittlere Verzögerung ist die durchschnittliche Wartezeit, gewichtet danach, wie viel Wirkung in jeder Woche ankommt:

$$\bar{k} = \frac{\sum_{k=0}^{L} k \, \beta_k}{\sum_{k=0}^{L} \beta_k}$$

Dabei ist $\bar{k}$ die mittlere Verzögerung in Wochen, $k$ jede einzelne Verzögerung und $\beta_k$ ihr Gewicht. Es ist ein gewichteter Mittelwert, und die Gewichte übernehmen die Rolle, die bei einem gewöhnlichen Durchschnitt die Häufigkeiten spielen. Grundlagen: der Mittelwert

Rechenbeispiel: die Kennzahlen für Lenas Kurve

Mit der Kurve, die später in diesem Kapitel geschätzt wird (0,92, 1,33, 1,13, 0,64, 0,18 und 0,07 Bestellungen pro 1.000 Mails für die Verzögerungen 0 bis 5):

$$\beta_{\text{total}} = 0{,}92 + 1{,}33 + 1{,}13 + 0{,}64 + 0{,}18 + 0{,}07 = 4{,}27$$

Die Summe, $\beta_{\text{total}}$, beträgt 4,27 Bestellungen pro 1.000 Mails. Der Gipfel liegt bei Verzögerung 1, wo $\beta_1 = 1{,}33$ das größte Gewicht ist. Für die mittlere Verzögerung multiplizierst du jedes Gewicht mit seiner Verzögerung: $0 + 1{,}33 + 2{,}26 + 1{,}92 + 0{,}72 + 0{,}35 = 6{,}58$. Dann ist

$$\bar{k} = \frac{6{,}58}{4{,}27} = 1{,}54$$

und $\bar{k}$, die durchschnittliche Zeit zwischen Versand und Bestellung, liegt bei rund anderthalb Wochen.

Warum freie Verzögerungen auseinanderfallen

Der naheliegende Weg ist, $x_t, x_{t-1}, \dots, x_{t-L}$ in eine gewöhnliche Regression zu stecken und die Koeffizienten abzulesen. Das kommt dabei heraus, auf den 78 Wochen von Korbwerk, mit fünf Verzögerungen. Die Zahlen sind erfunden, aber das Muster ist das, was du auf echten Daten siehst.

Verzögerung $k$	Freies $\beta_k$	Standardfehler	Liest sich als
0	1,31	0,62	plausibel
1	0,42	0,88	zu niedrig, verrauscht
2	2,05	0,91	zu hoch
3	minus 0,66	0,87	Mails vernichten Bestellungen?
4	1,17	0,83	ein zweiter Gipfel?
5	minus 0,08	0,61	wahrscheinlich null
Summe	4,21	1,38	seltsamerweise in Ordnung

Zwei Dinge sind schiefgegangen. Erstens gibt es zu viele Parameter: sechs Gewichte plus Kontrollvariablen aus 73 nutzbaren Wochen (78 minus die fünf, die durch die Verzögerungen verloren gehen). Zweitens, und schlimmer, sind die verzögerten Variablen fast Kopien voneinander. Korbwerk verschickt in einem festen Monatsrhythmus, also folgt auf eine Versandwoche mit großer Regelmäßigkeit vier oder fünf Wochen später die nächste, und Verzögerung 0 und Verzögerung 4 sind für die Regression kaum noch auseinanderzuhalten. Das ist Kollinearität, und ihre Symptome sind genau diese: einzelne Koeffizienten, die schwanken und das Vorzeichen wechseln, breite Standardfehler und eine Summe, die seltsam stabil ist, weil sich die Fehler aufheben.¹ Die Summe stimmt, und jede einzelne Zahl ist unbrauchbar.

Darin steckt eine Ironie, auf die ich jeden Kunden mit starrem Versandkalender hinweise: Ein vollkommen regelmäßiger Rhythmus ist leicht zu fahren und fast unmöglich zu messen. Ein bisschen Unregelmäßigkeit bei den Versandterminen ist ein Geschenk für alle, die sie später auswerten müssen.

Der Trick von Almon: Die Gewichte folgen einer Kurve

Die Idee von Shirley Almon, 1965 veröffentlicht, ist einfach und bis heute die sauberste Lösung, die ich kenne.² Statt sechs freie Gewichte zu schätzen, nimmst du an, dass die Gewichte auf einem glatten Polynom niedriger Ordnung in der Verzögerung liegen:

$$\beta_k = a_0 + a_1 k + a_2 k^2 + \dots + a_p k^p = \sum_{j=0}^{p} a_j k^j$$

Dabei ist $\beta_k$ das Gewicht bei Verzögerung $k$ (in Wochen), $p$ der Grad des Polynoms (in der Praxis 2 oder 3), und die $a_j$ sind die Koeffizienten des Polynoms. Statt $L+1$ Gewichten schätzt du $p+1$ Koeffizienten und gewinnst die Gewichte daraus zurück. Ein quadratisches Polynom kann einen Buckel beschreiben. Ein kubisches kann einen schnellen Anstieg, einen Buckel und einen langen Ausläufer beschreiben, die Form, die die meisten Marketingwirkungen haben. Grundlagen: Regression

Der schlaue Teil: Es bleibt gewöhnliche Kleinste Quadrate Schätzung. Setz das Polynom in das Lag Modell ein und vertausch die Reihenfolge der Summen:

$$y_t = \alpha + \sum_{j=0}^{p} a_j \left( \sum_{k=0}^{L} k^j \, x_{t-k} \right) + \gamma^\top z_t + \varepsilon_t = \alpha + \sum_{j=0}^{p} a_j \, w_{jt} + \gamma^\top z_t + \varepsilon_t$$

Jedes $w_{jt} = \sum_{k} k^j x_{t-k}$ ist eine konstruierte Variable: $w_{0t}$ ist die schlichte Summe der Mails der letzten $L+1$ Wochen, $w_{1t}$ dieselbe Summe, bei der jede Woche mit ihrer Verzögerung multipliziert wird, $w_{2t}$ mit dem Quadrat der Verzögerung, und so weiter. Die übrigen Symbole ($\alpha$, $a_j$, $\gamma$, $z_t$, $\varepsilon_t$) sind wie vorher. Du baust diese Spalten in einer Tabellenkalkulation oder mit ein paar Zeilen Code, regressierst $y_t$ auf sie und die Kontrollvariablen, und die $a_j$ fallen heraus. Dann ist jedes $\beta_k$ das Polynom, ausgewertet bei $k$.³ Grundlagen: Regression

Was du dafür bekommst, ist Stabilität: Sechs Gewichte teilen sich jetzt vier Parameter, sie können also nicht von einer Verzögerung zur nächsten das Vorzeichen wechseln. Was du dafür zahlst, ist eine Annahme, nämlich dass die wahre Kurve glatt ist. Für Mails, Kataloge und die meiste Werbung ist das eine gute Annahme. Für einen Flash Sale mit harter Frist nicht, und bei den Stolperfallen komme ich darauf zurück.

Rechenbeispiel: eine Almon Spalte bauen

Nimm Woche 30. Die verschickten Mails (in Tausend) in den Wochen 30 zurück bis 25 waren 0, 0, 30, 0, 0, 0, also hat nur Verzögerung 2 einen Versand ($x_{28} = 30$). Die vier Spalten für Woche 30 sind:

$$w_{0,30} = 2^0 \times 30 = 30, \quad w_{1,30} = 2^1 \times 30 = 60, \quad w_{2,30} = 2^2 \times 30 = 120, \quad w_{3,30} = 2^3 \times 30 = 240$$

Jedes $w_{j,30}$ sind die verzögerten Mails, gewichtet mit der Verzögerung hoch $j$. Ein Versand vor zwei Wochen wird zu vier Zahlen, die der Regression sagen, wie viel verschickt wurde und wie lange es her ist. Ein Versand in Woche 29 ergäbe stattdessen 30, 30, 30 und 30, weil $1^j = 1$ ist, und die Regression kann diese beiden Wochen auseinanderhalten.

Länge der Verzögerung und Grad wählen

Zwei Entscheidungen, und keine davon sollte man treffen, indem man nur auf p Werte starrt.

Länge der Verzögerung $L$. Fang großzügig an. Wenn du glaubst, dass die Wirkung nach vier Wochen weg ist, schätz mit acht. Schau dir die Gewichte am Ende an: Wenn $\beta_6$, $\beta_7$ und $\beta_8$ nicht von null zu unterscheiden sind und die Kurve flach geworden ist, kürz bis dahin, wo sie abgestorben ist, und schätz neu. Vergleich die Anpassungen mit einem Informationskriterium wie AIC oder BIC, die gute Anpassung belohnen, aber Parameter bestrafen, und nimm das kürzeste $L$, das nicht deutlich schlechter ist. Ein zu kurzes $L$ ist der teure Fehler: Die späte Wirkung wird stillschweigend in die Basis geschoben, und die Summe wird unterschätzt.

Grad $p$. Schätz Grad 2 und Grad 3 und vergleich. Wenn das $a_3$ des kubischen Modells klar von null verschieden ist und die Kurve sichtbar anders aussieht, behalt es. Wenn nicht, reicht das quadratische. Über 3 gehe ich bei wöchentlichen Marketingdaten nur sehr selten, denn ein Polynom vierten Grades auf 78 Wochen passt sich an Rauschen an.

Teste auch die Einschränkung selbst. Das Almon Modell legt den freien Verzögerungen $L - p$ lineare Restriktionen auf (hier $5 - 3 = 2$), also sagt dir ein F Test zwischen den beiden verschachtelten Modellen, ob das Polynom zu starr ist. Wenn er auf dem Niveau von 1 % ablehnt, schau dir die Residuen an, bevor du einem der beiden Modelle glaubst. Grundlagen: Hypothesentests

Restriktionen an den Endpunkten, die das Gewicht direkt hinter der letzten Verzögerung oder direkt vor Verzögerung 0 auf null zwingen, gibt es, und manchmal sind sie sinnvoll.³ Den fernen Endpunkt nutze ich, wenn der Ausläufer klar bei null liegt. Das nahe Ende zwinge ich nie, denn eine sofortige Wirkung gibt es bei Mails wirklich.

Die Lag Kurve von Korbwerk, Woche für Woche

Dieselben 78 Wochen, dieselben Kontrollvariablen, $L = 5$ und $p = 3$, gewählt nach dem Rezept oben. Die geschätzten Koeffizienten des Polynoms sind $a_0 = 0{,}92$, $a_1 = 0{,}83$, $a_2 = -0{,}47$ und $a_3 = 0{,}054$. Wertet man das kubische Polynom bei jeder Verzögerung aus, ergibt sich die Kurve.

Rechenbeispiel: von den Koeffizienten zu den Gewichten

Bei Verzögerung 2:

$$\beta_2 = 0{,}92 + 0{,}83 \times 2 - 0{,}47 \times 4 + 0{,}054 \times 8 = 0{,}92 + 1{,}66 - 1{,}88 + 0{,}432 = 1{,}13$$

Dabei ist $\beta_2$ die Wirkung zwei Wochen nach dem Versand, gebaut aus den vier $a_j$ mal $2^j$. Dieselbe Summe bei jeder Verzögerung füllt die Tabelle.

Verzögerung $k$ (Wochen nach Versand)	Almon $\beta_k$ (Bestellungen pro 1.000 Mails)	Standardfehler	Kumuliert	Anteil an der Summe
0	0,92	0,21	0,92	22 %
1	1,33	0,19	2,25	53 %
2	1,13	0,17	3,38	79 %
3	0,64	0,16	4,02	94 %
4	0,18	0,15	4,20	98 %
5	0,07	0,19	4,27	100 %
Summe	4,27	0,54

Zeile für Zeile gelesen. Verzögerung 0: In der Versandwoche bringen 1.000 Mails 0,92 zusätzliche Bestellungen, rund ein Fünftel von allem, was sie je bringen werden. Das ist die Zahl, die Lena gemessen hat, und sie hat sie richtig gemessen. Es war nur die falsche Zahl. Verzögerung 1: Die Woche danach ist der Gipfel, 1,33 Bestellungen pro 1.000, und an ihrem Ende ist gut die Hälfte der Wirkung angekommen. Verzögerung 2 ist mit 1,13 noch kräftig, und an ihrem Ende sind vier Fünftel da. Verzögerung 3 ist mit 0,64 die letzte Woche, die kaufmännisch zählt. Die Verzögerungen 4 und 5 sind klein, mit Standardfehlern ungefähr so groß wie die Schätzwerte, also lese ich sie als nahe null.

Die Summe beträgt 4,27 Bestellungen pro 1.000 Mails mit einem Standardfehler von 0,54, also ein Intervall von 95 % von $4{,}27 \pm 1{,}96 \times 0{,}54$, rund 3,2 bis 5,3. Grundlagen: Konfidenzintervalle Bei einem Versand an 30.000 Adressen sind das rund $30 \times 4{,}27 = 128$ Bestellungen pro Newsletter, irgendwo zwischen 96 und 160.

Vergleich das mit der freien Tabelle: dieselbe Summe im Rahmen des Rauschens, aber jetzt lässt sich die Form lesen. Ein Gipfel nach einer Woche, kaufmännisch tot nach drei, nichts mehr nach fünf.

Die waagerechte Achse zeigt die Wochen, seit der Newsletter rausgegangen ist, mit Woche 0 als Versandwoche. Die senkrechte Achse zeigt die zusätzlichen Bestellungen pro 1.000 Mails in dieser Woche. Die Botschaft: Der Gipfel liegt eine Woche nach dem Versand, nicht am Versandtag, und nach Woche 4 kommt fast nichts mehr.

Und die kumulierte Sicht, die für die Entscheidung über den Rhythmus den Ausschlag gibt:

Die waagerechte Achse zeigt wieder die Wochen seit dem Versand. Die senkrechte Achse zeigt den Anteil der Gesamtwirkung des Newsletters, der am Ende dieser Woche angekommen ist. Die Botschaft: Am Ende von Woche 3 sind 94 % der Wirkung da, und die Wochen 4 und 5 bringen die letzten 6 %.

Eine Warnung zu Summen. 4,27 pro 1.000 ist die durchschnittliche Wirkung bei den Mengen und Frequenzen, die Korbwerk tatsächlich gefahren hat. Es ist kein Versprechen für den 18. Versand im Jahr, wenn der Rhythmus steigt. Das ist eine Frage am Rand, und marginaler ROI ist nicht durchschnittlicher ROI. Der nächste Abschnitt kommt darauf zurück. Grundlagen: marginal gegen durchschnittlich

Von der Lag Kurve zum Versandrhythmus

Jetzt die Entscheidung, vor der Lena wirklich steht. Im Monatskalender kommt alle vier bis fünf Wochen ein Versand. Bis dahin sind 94 % bis 98 % des vorigen Versands angekommen, und in den letzten ein, zwei Wochen bringt die Liste aus Mails fast nichts. Das ist die Lücke.

Bei einem Rhythmus von drei Wochen geht der nächste Versand raus, wenn der vorige 79 % geliefert hat, und sein restliches Fünftel überlappt mit dem Anfang des neuen. Bei zwei Wochen sind erst 53 % da, wenn der nächste Versand kommt, und fast die Hälfte überlappt, eine frische Nachricht landet also bei Leuten, die auf die letzte noch gar nicht fertig reagiert haben. Drei Wochen schließen die leeren Wochen und halten die Überlappung klein.

Rechenbeispiel: was ein Versand alle drei Wochen bringen könnte

Aus zwölf Versänden im Jahr werden $52 \div 3 = 17{,}3$, sagen wir 17. Wenn jeder Versand seine volle Wirkung von rund 128 Bestellungen behielte, brächte die Mail $17 \times 128 = 2{.}176$ Bestellungen im Jahr statt $12 \times 128 = 1{.}536$, also 640 mehr.

Die vollen 640 würde ich nicht glauben, und Lena sollte es auch nicht. Das Modell wurde auf monatlichen Versänden geschätzt und weiß nichts darüber, was bei höherer Frequenz mit Öffnungen und Abmeldungen passiert. Korbwerk hat für das Sortiment zum Muttertag einmal zweimal im Abstand von zwei Wochen verschickt, in den Wochen 17 und 19, und die Abmelderate beim zweiten Versand lag ungefähr beim Doppelten des Üblichen. Das ist eine Beobachtung, kein Beleg, aber es ist eine Warnung.

Das ehrliche Memo nennt deshalb eine Spanne. Das untere Ende nimmt an, dass jeder der fünf zusätzlichen Versände nur 60 % der heutigen Wirkung bringt: $5 \times 128 \times 0{,}6 = 384$. Der erwartete Zugewinn liegt bei rund 380 bis 640 Bestellungen im Jahr, und das Risiko sitzt auf der Seite der Abmeldungen.

Und es sagt, wie man es herausfindet: Teil die Liste zufällig, die Hälfte bekommt alle drei Wochen eine Mail, die andere Hälfte monatlich, lass das zwölf Wochen laufen und vergleich Bestellungen, Abmeldungen und Umsatz. Der Split Test ist das richtige Werkzeug für den Teil, den das Modell nicht sehen kann, und ich habe einen kompletten Leitfaden zu Testmethoden im Marketing geschrieben, falls du die Details des Designs willst.

Warum nicht alle zwei Wochen? Weil die Hälfte der Wirkung noch ankommt, wenn der nächste Versand rausgeht, und weil der einzige Hinweis zur Frequenz in die falsche Richtung zeigt. Bei drei Wochen sind sich die Kurve, die Belege und der Kalender der Texterin einig.

Wo Adstock hineinpasst

Wenn dir Adstock im Media Mix Modelling schon begegnet ist, kennst du einen Distributed Lag mit sehr strenger Form. Klassischer Adstock nimmt an, dass die Wirkung geometrisch abnimmt, jede Woche um denselben Anteil:

$$\beta_k = \beta_0 \, \lambda^k$$

Dabei ist $\beta_k$ die Wirkung bei Verzögerung $k$, $\beta_0$ die Wirkung in der Woche des Kontakts und $\lambda$ die Erhaltungsrate, eine Zahl zwischen 0 und 1, die sagt, welcher Anteil der Wirkung dieser Woche in die nächste hinübergeht. Es ist Zinseszins rückwärts, ein gleichmäßiger Zerfall statt eines gleichmäßigen Wachstums. Grundlagen: Zinseszins

Ein einziger Parameter für die ganze Kurve ist sparsam, wenn du zwölf Kanäle und drei Jahre Wochen hast, und falsch, sobald der Gipfel nicht bei Verzögerung 0 liegt. Geometrischer Adstock nimmt an, dass die Wirkung in derselben Periode ihren Gipfel hat wie der Kontakt.⁴ Der Gipfel bei Korbwerk liegt bei Verzögerung 1, ein geometrischer Zerfall würde also zu viel Gewicht auf die Versandwoche legen und zu wenig auf die zwei Wochen danach.

Forschende bei Google haben genau dafür einen verzögerten Adstock vorgeschlagen, mit Gewichten, die zu einem Gipfel ansteigen und dann fallen:⁴

$$w(l) = \alpha^{(l - \theta)^2}$$

Dabei ist $w(l)$ das Gewicht bei Verzögerung $l$, $\alpha$ eine Erhaltungsrate zwischen 0 und 1 und $\theta$ die Verzögerung, bei der die Wirkung ihren Gipfel hat. Die Kurve hat die Glockenform einer Normalverteilung mit Zentrum bei $\theta$. Grundlagen: Verteilungen Das Almon Polynom ist der beweglichere Verwandte: wenige Parameter, jede glatte Form, geschätzt mit schlichten Kleinsten Quadraten.

Rechenbeispiel: geometrischer Adstock gegen Lenas Kurve

Leg einen geometrischen Zerfall durch die Versandwoche, $\beta_0 = 0{,}92$, mit $\lambda = 0{,}5$. Die Gewichte, die daraus folgen, sind $0{,}92$, $0{,}92 \times 0{,}5 = 0{,}46$, $0{,}92 \times 0{,}25 = 0{,}23$ und so weiter. Bei Verzögerung 1 sagt das 0,46, wo die Almon Kurve 1,33 sagt. Kein Wert von $\lambda$ unter 1 kann Verzögerung 1 größer machen als Verzögerung 0, die geometrische Form kann Lenas Buckel also nie zeichnen.

So rechnest du es selbst

Die Daten, die du brauchst: eine Zeile pro Woche, mindestens 60 Wochen und besser 100 oder mehr, mit dem Ergebnis (Bestellungen, Anfragen, Buchungen), der Marketingmaßnahme in einer sinnvollen Einheit (Tausend Mails, Katalogexemplare, Euro Budget) und den Kontrollvariablen, die das Ergebnis ebenfalls bewegen: Ausgaben für bezahlte Suche, Preisänderungen, Markierungen für Feiertage und Schulferien, ein linearer Trend, vielleicht eine Markierung für einen Launch. Wöchentlich ist für Mails die richtige Körnung. Täglich ist zu verrauscht, und monatlich versteckt die Kurve vollständig.

Die Schritte, so wie ich sie gehe:

Das Diagramm läuft von der Wochentabelle bis zum Memo. Die einzige Schleife ist die Prüfung des Ausläufers: Wenn die letzten Gewichte nicht nahe null liegen, ist die Verzögerung zu kurz, also verlängerst du sie und fängst bei den Verzögerungen wieder an. Die meiste Zeit fließt in die Wochentabelle und die Kontrollvariablen, nicht in die Regression.

In Python mit statsmodels ist es kurz:

import numpy as np, pandas as pd, statsmodels.api as sm

L, p = 5, 3                                  # Länge der Verzögerung, Grad des Polynoms
x = df["emails_k"]                           # verschickte Mails pro Woche, in Tausend
for j in range(p + 1):                       # Almon Spalten w_j = sum_k k^j x_{t-k}
    df[f"w{j}"] = sum((k ** j) * x.shift(k) for k in range(L + 1))
cols = [f"w{j}" for j in range(p + 1)] + ["paid_search", "holiday", "trend"]
X = sm.add_constant(df[cols])
fit = sm.OLS(df["orders"], X, missing="drop").fit(cov_type="HAC", cov_kwds={"maxlags": 4})
a = fit.params[[f"w{j}" for j in range(p + 1)]].to_numpy()
beta = np.array([sum(a[j] * k ** j for j in range(p + 1)) for k in range(L + 1)])
print(np.round(beta, 2), "total:", round(beta.sum(), 2))

Die HAC Standardfehler (robust gegen Heteroskedastizität und Autokorrelation) sind wichtig. Wöchentliche Residuen sind autokorreliert, und die Standardfehler der schlichten Kleinsten Quadrate schmeicheln dir.⁵ Prüf die Autokorrelation der Residuen. Wenn sie stark ist, nimm ein verzögertes Ergebnis dazu oder modellier die Fehler, und betrachte das Intervall der Summe mit mehr Misstrauen.

Rechenbeispiel: der Holdout

Bevor du der Kurve traust, halt Daten zurück. Schätz auf den ersten 66 Wochen, sag die letzten 12 vorher und vergleich:

Woche	Mails (Tausend)	Tatsächliche Bestellungen	Prognose	Fehler
67	31	101	95	6 %
68	0	98	104	6 %
69	0	91	94	3 %
70	0	86	80	7 %
71	0	64	68	6 %
72	29	97	92	5 %
73	0	93	100	8 %
74	0	99	93	6 %
75	0	72	77	7 %
76	30	90	95	6 %
77	0	108	103	5 %
78	0	89	94	6 %

Jeder Fehler ist die Abweichung als Anteil des tatsächlichen Werts. Woche 67 zum Beispiel ist $(101 - 95) \div 101 = 5{,}9\,\%$. Der mittlere absolute prozentuale Fehler mittelt diese zwölf Abweichungen:

$$\text{MAPE} = \frac{1}{n} \sum_{t=1}^{n} \left| \frac{A_t - F_t}{A_t} \right| \times 100$$

Dabei ist $n$ die Zahl der Holdout Wochen (12), $A_t$ die tatsächlichen Bestellungen in Woche $t$ und $F_t$ die Prognose. Grundlagen: Prozente Für diese Tabelle liegt er bei rund 6 %, gegen 14 % für eine saisonale Basis, die Mails ignoriert.

Wichtiger ist die Form. Die drei höchsten Prognosen sind genau die Wochen nach einem Versand (68, 73 und 77), und bei den tatsächlichen Zahlen ist Woche 77 die höchste der zwölf. Woche 71, vier Wochen nach einem Versand, ist in beiden die niedrigste. Das Modell trifft das Timing, und nach dem Timing wirst du handeln.

Wie lange dauert es? Mit einer sauberen Wochentabelle einen Nachmittag. Diese Tabelle aus einem Export der Mailplattform, einem Export der Webanalyse und einer Tabelle der Buchhaltung zu bauen und sich zu einigen, was als Bestellung zählt, dauert eine Woche.

Stolperfallen

Ein regelmäßiger Rhythmus macht die Verzögerungen kollinear. Das ist der häufigste Grund, warum das freie Modell scheitert und das Almon Modell unbemerkt falsch spezifiziert ist: Wenn du immer am ersten Dienstag verschickst, sind Verzögerung 0 und Verzögerung 4 oder 5 fast dieselbe Variable. Verschieb den Versandtermin ab und zu um eine Woche.

Glätte ist eine Annahme. Ein Polynom kann keine Klippe zeichnen. Ein Flash Sale, der am Sonntag endet, hat eine Wirkung, die sechs Tage lang groß ist und am Montag null, und ein kubisches Polynom verschmiert sie in die folgende Woche und erfindet einen Ausläufer, den es nicht gibt. Für Aktionen mit harter Frist nimm kurze freie Verzögerungen auf Tagesbasis, oder modellier die Frist direkt.

In der Woche hat sich noch etwas anderes geändert. Angenommen, die stärkste Bestellwoche von Korbwerk in der Stichprobe war keine Mailwoche, sondern die Woche, in der ein Foodmagazin die Körbe besprochen hat. Wenn die Besprechung nicht in den Kontrollvariablen steht, erklärt das Modell sie mit der Mail, die gerade in der Nähe war, und die Kurve bekommt einen Phantombuckel. Führ ein Protokoll über alles, was passiert ist, und nimm die großen Ereignisse als Markierungen auf.

Umgekehrtes Timing. Marketer verschicken, wenn sie Nachfrage erwarten: vor Weihnachten, vor dem Muttertag, nach einem Launch. Wenn die Versände auf Bestellungen getimt sind, die ohnehin gekommen wären, schreibt das Lag Modell sie der Mail gut. Saisonale Kontrollvariablen helfen, ein ehrlicher Holdout hilft mehr, und ein Test mit zufälligem Versandzeitpunkt klärt es.

Wochengrenzen. Ein Versand am Donnerstag legt drei Tage von Verzögerung 0 in die Versandwoche und vier in die nächste, ein Teil eines "Gipfels bei Verzögerung 1" ist also ein Kalendereffekt. Wenn du an einem festen Wochentag verschickst, lass deine Analysewochen an diesem Wochentag beginnen. Das klingt pedantisch. Es verschiebt den Gipfel.

Wie ich das für Kunden mache

Das Ergebnis ist eine Lag Kurve, nach der du handeln kannst, kein Ausdruck einer Regression. Ich brauche einen wöchentlichen Export aus deinem Mail oder Kampagnenwerkzeug (Versände, Öffnungen, Abmeldungen), das Ergebnis aus der Datenbank deines Shops oder Produkts (Bestellungen, Testzugänge, Anfragen) und alles, wofür du sonst Woche für Woche Geld ausgegeben hast, dazu einen Kalender mit Launches, Preisänderungen und allem Ungewöhnlichen. Sechzig Wochen sind die Untergrenze. Wenn du weniger hast, sage ich das, und wir reden darüber, was sich daraus ehrlich lernen lässt.

Es beginnt mit dem kostenlosen Workshop, in dem wir die Frage festlegen (bei Lena wäre es "wie oft sollten wir verschicken?"), das Ergebnis, das zählt, und wo die Daten liegen. Dann mache ich zwei Wochen echte Arbeit, bevor du dich zu irgendetwas verpflichtest: die Wochentabelle, das Modell, den Holdout und einen ersten Entwurf der Kurve. Wenn die Daten keine Antwort tragen, hörst du das klar und deutlich.

Was du bekommst, ist ein einseitiges Entscheidungsmemo mit einer Zahl und einem Risiko (im Beispiel 4,27 Bestellungen pro 1.000 Mails mit Intervall, die Empfehlung für drei Wochen, der erwartete Zugewinn und das Risiko bei den Abmeldungen), das geschätzte Modell als Notebook, das dir gehört und das du jedes Quartal neu laufen lassen kannst, und ein kleines Dashboard, das eine Frage beantwortet: wie viele der Bestellungen des letzten Monats hat die Mail gebracht, und wann. Den Split Test aufzusetzen und auszuwerten gehört zu meiner Arbeit im Performance Marketing, die Modellierung gehört zu Data Science. Die Honorare stehen auf der Preisseite.

Fragen an alle, die dein Marketing messen

• Wie viele Wochen nach einem Versand zählst du seine Wirkung noch mit, und warum genau so viele?
• Kannst du mir für unsere letzten zwölf Kampagnen die Lag Kurve zeigen, nicht nur eine Conversion Rate?
• Welche Kontrollvariablen stecken im Modell, und ist die Besprechung im Magazin aus dem März mit drin?
• Hast du das letzte Quartal zurückgehalten und vorhergesagt, bevor du mir gesagt hast, dass das Modell funktioniert?
• Wie groß ist das Konfidenzintervall der Gesamtwirkung, und würde sich die Entscheidung am unteren Ende ändern?
• Ist unser Versandkalender so regelmäßig, dass sich die Verzögerungen nicht trennen lassen, und sollten wir ihn variieren?
• Berücksichtigt die Empfehlung zum Rhythmus Ermüdung und Abmeldungen, oder nur die Kurve?

Die Serie ist inspiriert von Mike Grigsbys Buch Marketing Analytics.⁶ Die Erklärungen, Beispiele und Zahlen hier sind meine eigenen.

Footnotes

1. Dave Giles, Explaining the Almon distributed lag model, Econometrics Beat, 6. Januar 2017, https://davegiles.blogspot.com/2017/01/explaining-almon-distributed-lag-model.html

2. Shirley Almon, The Distributed Lag Between Capital Appropriations and Expenditures, Econometrica, Band 33, Heft 1, Seiten 178 bis 196, Januar 1965, https://www.econometricsociety.org/publications/econometrica/1965/01/01/distributed-lag-between-capital-appropriations-and-expenditures

3. Kuan-Pin Lin, Topic 10: Distributed lag models (polynomial lag, the constructed Z variables and the end point restrictions), EC 570/571 Econometrics, Portland State University, https://web.pdx.edu/~crkl/ec571/lecture10.htm

4. Yuxue Jin, Yueqing Wang, Yunting Sun, David Chan und Jim Koehler, Bayesian Methods for Media Mix Modeling with Carryover and Shape Effects, Google Inc., 2017, Abschnitt 2.1, https://research.google/pubs/bayesian-methods-for-media-mix-modeling-with-carryover-and-shape-effects/

5. statsmodels Entwickler, RegressionResults.get_robustcov_results, statsmodels Dokumentation, https://www.statsmodels.org/stable/generated/statsmodels.regression.linear_model.RegressionResults.get_robustcov_results.html

6. Mike Grigsby, Marketing Analytics: A Practical Guide to Improving Consumer Insights Using Data Techniques, Kogan Page, 2022, ISBN 9781398608191, https://www.netgalley.co.uk/catalog/book/267990