Polynomial Distributed Lags: wie lange wirkt Marketing nach?

Der Newsletter, der noch wirkt, wenn du ihn längst vergessen hast

Werkbank schickt einmal im Monat einen Newsletter an rund 30.000 Handwerksbetriebe: Tischler, Elektriker, Fliesenleger, Leute mit einem Bus und einer Tabelle. Nach jedem Versand gibt es einen Sprung bei den Trial Anmeldungen, und die Gründerin schaut, durchaus vernünftig, auf die Trials am Versandtag und am Tag danach, teilt durch die verschickten Mails und nennt das die Konversionsrate der Mail. Ergebnis: 0,2 Prozent. Nicht berauschend. Sie war kurz davor, den Newsletter auf einmal im Quartal zu kürzen, um die Zeit der Texterin zu sparen.

Das Problem: der Sprung am Versandtag ist nur die erste Rate. Ein Fliesenleger liest die Mail am Dienstag und leitet sie an seine Partnerin weiter, die die Buchhaltung macht; die startet eine Woche später einen Trial, am Sonntagabend beim Rechnungenschreiben. Ein Teil der Wirkung kommt in Woche zwei, ein Teil in Woche drei. Sauber gemessen war der Newsletter etwa vier Trials pro 1.000 Mails wert, nicht zwei, und der Grossteil davon kam nach dem Tag, an dem die Gründerin aufgehört hat zu zählen. Genau das leistet ein Distributed Lag Modell: es sagt dir, wie viel von der Wirkung einer Marketingaktion jetzt kommt, wie viel später, und wann sie fertig ist. Sobald du das weisst, weisst du auch, wann die nächste Aktion fällig ist.

Wo dieses Kapitel in der Serie steht

Das ist Kapitel 5 von 21, und wir sind in Teil zwei, den Techniken mit abhängiger Variable, in denen ein Geschäftsergebnis (Trials, Bestellungen, Buchungen) durch Dinge erklärt wird, die du steuerst. Das vorige Kapitel über Nachfrage und Preiselastizität hat mit gewöhnlicher Regression gearbeitet, bei der Ursache und Wirkung in derselben Periode passieren. Dieses Kapitel bringt die Zeit ins Spiel: die Ursache passiert in Woche 10, die Wirkung tröpfelt über die Wochen 10 bis 15. Das nächste Kapitel über Poisson Regression behandelt ein anderes Problem, nämlich Ergebnisse, die Zählwerte sind und nicht negativ werden können. Später, in Kapitel 16 über Media Mix Modelling und Adstock, kommt die Lag Idee in anderem Kostüm zurück.

Eine Zahl für die Mailwirkung hat die falsche Form

Wenn du wöchentliche Trials auf wöchentlich verschickte Mails regressierst, bekommst du einen Koeffizienten: Trials pro 1.000 Mails, in derselben Woche. Jeder Trial, der wegen dieser Mail in einer späteren Woche passiert, wird dem zugeschrieben, was sonst in dieser späteren Woche los war, oder der Konstante, oder dem Rauschen. Der Koeffizient ist zu klein, und deine Entscheidung ist in einer vorhersehbaren Richtung falsch: du investierst zu wenig in alles mit langsamer Wirkung und zu viel in alles mit schneller.

Die Lösung ist keine klügere Einzelzahl. Die Lösung ist zuzugeben, dass die Wirkung eine Kurve über die Zeit ist, diese Kurve zu schätzen und sie dann mit den Zahlen zusammenzufassen, die zählen: wo sie ihren Gipfel hat, wann sie abgeklungen ist und was sie in Summe ergibt.

Das Distributed Lag Modell

Nenn die Trials in Woche $t$ $y_t$ und die verschickten Mails (in Tausend) in Woche $t$ $x_t$ . Ein Distributed Lag Modell sagt: die Trials dieser Woche hängen von den Mails dieser Woche und von den Mails der vorigen $L$ Wochen ab, jede mit eigenem Gewicht:

$y_t = \alpha + \sum_{k=0}^{L} \beta_k \, x_{t-k} + \gamma^\top z_t + \varepsilon_t$

Dabei ist $y_t$ das Ergebnis in Woche $t$ , $\alpha$ die Basis (Trials, die ganz ohne Mail passieren würden), $\beta_k$ die Wirkung von 1.000 Mails, die vor $k$ Wochen verschickt wurden, auf die Trials dieser Woche, $L$ die Lag Länge (wie viele Wochen zurück die Wirkung reichen darf), $z_t$ ein Satz Kontrollvariablen wie Ausgaben für bezahlte Suche, Feiertagswochen und ein Trend, mit ihren Koeffizienten $\gamma$ , und $\varepsilon_t$ der Fehler. Die Gewichte $\beta_0, \beta_1, \dots, \beta_L$ zusammen sind die Lag Kurve. Um sie geht es.

Drei Kennzahlen der Kurve erledigen den Grossteil der Arbeit:

$\beta_{\text{total}} = \sum_{k=0}^{L} \beta_k$

Die Gesamtwirkung ist die Summe der Gewichte: wie viele Trials 1.000 Mails am Ende erzeugen, über alle Wochen, in denen sie irgendetwas erzeugen. Der Peak Lag ist das $k$ mit dem grössten $\beta_k$ . Und der mittlere Lag,

$\bar{k} = \frac{\sum_{k=0}^{L} k \, \beta_k}{\sum_{k=0}^{L} \beta_k}$

ist die durchschnittliche Verzögerung zwischen Versand und Wirkung, gewichtet danach, wie viel Wirkung in jeder Woche ankommt. Bei Werkbank sind das etwa eineinhalb Wochen.

Warum unbeschränkte Lags zusammenbrechen

Der naheliegende Weg: $x_t, x_{t-1}, \dots, x_{t-L}$ in eine gewöhnliche Regression stecken und die Koeffizienten ablesen. Ich habe das mit Werkbanks 78 Wochen gemacht und zeige das Ergebnis, weil es lehrreich ist. Die Zahlen sind durchwegs illustrativ, das Muster ist aber genau das, was du auf echten Daten siehst.

Lag $k$	Unbeschränktes $\beta_k$	Standardfehler	Liest sich als
0	1,31	0,62	plausibel
1	0,42	0,88	zu niedrig, verrauscht
2	2,05	0,91	zu hoch
3	minus 0,66	0,87	Mails vernichten Trials?
4	1,17	0,83	ein zweiter Gipfel?
5	minus 0,08	0,61	vermutlich null
Summe	4,21	1,38	passt, seltsamerweise

Zwei Dinge sind schiefgegangen. Erstens gibt es zu viele Parameter: sechs Lag Gewichte plus Kontrollen aus 73 nutzbaren Wochen (78 minus die 5, die an die Lags gehen). Zweitens, und schlimmer: die verzögerten Variablen sind fast Kopien voneinander. Werkbank verschickt in einem fixen Monatsrhythmus, also folgt auf eine Woche mit grossem $x_t$ mit grosser Regelmässigkeit vier oder fünf Wochen später ein grosses $x_{t-4}$ oder $x_{t-5}$ , und die Lags 0 und 4 werden für die Regression fast ununterscheidbar. Das ist Kollinearität, und ihr Symptom ist genau das hier: einzelne Koeffizienten, die wild schwanken und das Vorzeichen wechseln, breite Standardfehler, und eine Summe, die seltsam stabil ist, weil sich die Fehler aufheben. Die Summe stimmt, und jede einzelne Zahl ist unbrauchbar.

Da steckt eine Ironie drin, auf die ich jeden Kunden mit starrem Versandkalender hinweise: eine perfekt regelmässige Kadenz ist leicht zu fahren und fast unmöglich zu messen. Ein bisschen Unregelmässigkeit bei den Versandterminen ist ein Geschenk an alle, die sie später analysieren müssen.

Der Almon Trick: die Gewichte auf eine Kurve legen

Shirley Almons Idee aus den 1960ern ist einfach und immer noch die sauberste Lösung, die ich kenne. Statt sechs freie Gewichte zu schätzen, nimm an, dass die Gewichte auf einem glatten Polynom niedriger Ordnung im Lag liegen:

$\beta_k = a_0 + a_1 k + a_2 k^2 + \dots + a_p k^p = \sum_{j=0}^{p} a_j k^j$

Dabei ist $k$ der Lag in Wochen, $p$ der Grad des Polynoms (in der Praxis 2 oder 3), und die $a_j$ sind die Koeffizienten des Polynoms. Statt $L+1$ Gewichten schätzt du $p+1$ Koeffizienten, und die Gewichte werden daraus zurückgerechnet. Eine Quadratische kann einen Buckel beschreiben; eine Kubische einen schnellen Anstieg, einen Buckel und einen langen Schwanz, also die Form, die die meisten Marketingwirkungen haben.

Der clevere Teil: das ist immer noch die Methode der kleinsten Quadrate. Setz das Polynom ins Lag Modell ein und vertausch die Reihenfolge der Summen:

$y_t = \alpha + \sum_{j=0}^{p} a_j \left( \sum_{k=0}^{L} k^j \, x_{t-k} \right) + \gamma^\top z_t + \varepsilon_t = \alpha + \sum_{j=0}^{p} a_j \, w_{jt} + \gamma^\top z_t + \varepsilon_t$

Jedes $w_{jt} = \sum_k k^j x_{t-k}$ ist eine neu konstruierte Variable: $w_{0t}$ ist die schlichte Summe der Mails der letzten $L+1$ Wochen, $w_{1t}$ dieselbe Summe, jede Woche mit ihrem Lag gewichtet, $w_{2t}$ mit dem Lag im Quadrat, und so weiter. Du baust diese vier Spalten in einer Tabelle oder in drei Zeilen Code, regressierst $y_t$ auf sie und die Kontrollen, und die $a_j$ fallen heraus. Dann ist $\beta_k$ für jedes $k$ einfach das Polynom, ausgewertet an der Stelle $k$ .

Gekauft hast du Stabilität: die sechs Gewichte teilen sich jetzt vier Parameter und können nicht mehr von einem Lag zum nächsten das Vorzeichen wechseln. Bezahlt hast du mit einer Annahme: dass die wahre Kurve glatt ist. Für Mails, Kataloge und die meiste Werbung ist das eine sehr gute Annahme. Für einen Flash Sale mit hartem Stichtag ist sie es nicht, und das sage ich bei den Fallen auch.

Lag Länge und Grad wählen

Zwei Entscheidungen, und keine davon sollte nur durch Anstarren von p Werten fallen.

Lag Länge $L$ . Fang grosszügig an. Wenn du glaubst, die Wirkung ist nach vier Wochen weg, schätz mit acht. Schau dir die Gewichte am Ende an: wenn $\beta_6, \beta_7, \beta_8$ nicht von null zu unterscheiden sind und die Kurve flach geworden ist, kürz auf den Punkt, an dem sie abgeklungen ist, und schätz neu. Vergleich die Modelle mit einem Informationskriterium wie AIC oder BIC, die Anpassung belohnen und Parameter bestrafen; nimm das kürzeste $L$ , das nicht klar schlechter ist. Ein zu kurzes $L$ ist der teure Fehler: die späte Wirkung wandert still in die Konstante, und die Summe wird unterschätzt.

Grad $p$ . Schätz Grad 2 und Grad 3 und vergleich. Wenn das $a_3$ der Kubischen signifikant ist und die Kurve sichtbar anders aussieht, behalt sie. Wenn nicht, reicht die Quadratische. Über 3 gehe ich mit wöchentlichen Marketingdaten sehr selten; ein Polynom vierten Grades auf 78 Wochen passt sich ans Rauschen an. Test auch die Restriktion selbst: das Almon Modell legt den unbeschränkten Lags $L - p$ lineare Restriktionen auf, also sagt dir ein F Test zwischen beiden, ob das Polynom zu starr ist. Wenn er auf dem Einprozentniveau verwirft, schau dir die Residuen an, bevor du einem der beiden Modelle glaubst.

Endpunktrestriktionen ( $\beta_{L+1} = 0$ oder $\beta_{-1} = 0$ erzwingen) gibt es, und manchmal sind sie sinnvoll. Den fernen Endpunkt nutze ich, wenn der Schwanz klar null ist; den nahen erzwinge ich nie, denn eine Sofortwirkung ist bei Mails real.

Werkbanks Lag Kurve, Woche für Woche

Dieselben 78 Wochen, dieselben Kontrollen, $L = 5$ und $p = 3$ , nach dem Rezept oben gewählt. Die geschätzten Polynomkoeffizienten waren $a_0 = 0{,}92$ , $a_1 = 0{,}83$ , $a_2 = -0{,}47$ und $a_3 = 0{,}054$ . Die Kubische an jedem Lag ausgewertet ergibt die Kurve:

Lag $k$ (Wochen nach Versand)	Almon $\beta_k$ (Trials pro 1.000 Mails)	Standardfehler	Kumuliert	Anteil an der Summe
0	0,92	0,21	0,92	21%
1	1,34	0,19	2,26	53%
2	1,14	0,17	3,40	79%
3	0,65	0,16	4,05	94%
4	0,18	0,15	4,23	98%
5	0,07	0,19	4,30	100%
Summe	4,30	0,54

Zeile für Zeile gelesen. Lag 0: in der Versandwoche erzeugen 1.000 Mails 0,92 zusätzliche Trials, etwa ein Fünftel von allem, was sie je erzeugen werden. Das ist die Zahl, die die Gründerin gemessen hat, und sie hat sie korrekt gemessen; es war nur die falsche Zahl. Lag 1: die Woche danach ist der Gipfel, 1,34 Trials pro 1.000. Bis Ende Woche 1 ist die Hälfte der Gesamtwirkung da. Lag 2 ist mit 1,14 noch stark; danach sind vier Fünftel drin. Lag 3 mit 0,65 ist die letzte Woche, die kommerziell zählt. Lags 4 und 5 sind klein, und ihre Standardfehler sind ungefähr so gross wie die Schätzungen selbst, also lese ich sie als "nahe null, könnte nichts sein". Die Summe ist 4,30 Trials pro 1.000 Mails, mit Standardfehler 0,54, also ein 95 Prozent Intervall von grob 3,2 bis 5,4. Bei einem Versand an 30.000 Adressen sind das etwa 129 Trials pro Kampagne, plus minus 30.

Vergleich mit der unbeschränkten Tabelle: dieselbe Summe innerhalb des Rauschens, aber jetzt ist die Form lesbar. Gipfel nach einer Woche, kommerziell tot nach drei, nichts mehr nach fünf.

Die Almon Lag Kurve für den Werkbank Newsletter. Lag 0 ist die Versandwoche; der Gipfel liegt eine Woche später; nach Woche 4 kommt praktisch nichts mehr.

Und die kumulierte Sicht, die die Kadenzentscheidung treibt:

Bis Ende Woche 3 sind 94 Prozent der Wirkung eines Versands angekommen. Wochen 4 und 5 liefern die letzten 6 Prozent.

Eine Warnung zu Summen und Durchschnitten. 4,30 pro 1.000 ist die durchschnittliche Wirkung bei den Mengen und Frequenzen, die Werkbank tatsächlich gefahren hat. Das ist kein Versprechen über den 18. Versand des Jahres, wenn du die Kadenz erhöhst. Das ist eine Grenzfrage, und marginaler ROI ist nicht durchschnittlicher ROI; ich komme unten darauf zurück.

Von der Lag Kurve zur Versandkadenz

Jetzt die Entscheidung, vor der die Gründerin tatsächlich stand. Im Monatskalender landet ein Versand alle vier bis fünf Wochen. Die Kurve sagt: nach drei Wochen sind 94 Prozent der Wirkung geliefert, nach vier 98 Prozent. In einem Monat mit fünf Wochen liegt die Liste also ein bis zwei Wochen brach und erzeugt aus Mails praktisch nichts. Das ist die Lücke.

Wechsel auf eine Kadenz von drei Wochen, und jeder neue Versand landet genau dann, wenn der vorige 94 Prozent seiner Wirkung verbraucht hat. Es gibt sehr wenig Überlappung, du stapelst also keine frische Botschaft auf eine, auf die die Leserin noch reagiert, und es gibt keine brachliegenden zwei Wochen. Aus zwölf Versendungen im Jahr werden etwa siebzehn. Wenn jeder Versand seine volle Wirkung von rund 129 Trials behielte, würde Mail etwa 2.200 Trials im Jahr liefern statt 1.550, also 650 zusätzlich.

Ich glaube nicht an die vollen 650, und das habe ich ihr auch gesagt. Das Modell wurde auf monatlichen Versendungen geschätzt und weiss nichts darüber, was bei höherer Frequenz mit Öffnungsraten und Abmeldungen passiert. Werkbank hatte für einen Produktlaunch in den Wochen 22 und 24 zwei Versendungen im Abstand von zwei Wochen, und die Abmelderate beim zweiten war ungefähr doppelt so hoch wie üblich. Das ist eine Beobachtung, kein Beweis, aber eine Warnung. Das Memo sagte also: erwarteter Gewinn 260 bis 650 Trials im Jahr, das untere Ende unter der Annahme, dass jeder zusätzliche Versand nur 60 Prozent der aktuellen Wirkung bringt, mit dem Risiko auf der Abmeldeseite. Und es sagte, wie man es herausfindet: die Liste zufällig teilen, eine Hälfte auf drei Wochen, die andere auf monatlich, zwölf Wochen laufen lassen und Trials, Abmeldungen und Umsatz vergleichen. Der Split Test ist das richtige Werkzeug für den Teil, den das Modell nicht sehen kann, und ich habe einen kompletten Leitfaden zu Marketing Testmethoden geschrieben, falls du die Details zum Design willst.

Warum nicht alle zwei Wochen? Weil der vorige Versand nach zwei Wochen erst zu 79 Prozent durch ist, die Überlappung spürbar wird und das einzige Stück Frequenzevidenz, das wir hatten, in die falsche Richtung zeigte. Drei Wochen ist der Punkt, an dem Kurve, Evidenz und der Kalender der Texterin einig waren.

Wo Adstock hineinpasst

Wenn du Adstock aus dem Media Mix Modelling kennst, kennst du einen Distributed Lag mit sehr strenger Form. Adstock nimmt an, dass die Wirkung geometrisch abklingt: $\beta_k = \beta_0 \lambda^k$ mit einer einzigen Haltrate $\lambda$ zwischen 0 und 1. Die Wirkung ist sofort am grössten und schrumpft jede Woche um denselben Anteil. Ein Parameter für die ganze Kurve ist herrlich sparsam bei zwölf Kanälen und 156 Wochen, und falsch, sobald der Gipfel nicht bei Lag 0 liegt. Werkbanks Gipfel liegt bei Lag 1; ein geometrisches Abklingen kann diesen Buckel nicht erzeugen und würde zu viel Gewicht auf die Versandwoche und zu wenig auf die beiden folgenden legen. Das Almon Polynom ist der flexiblere Cousin: wenige Parameter, jede glatte Form.

So rechnest du es selbst

Daten, die du brauchst: eine Zeile pro Woche, mindestens 60 Wochen und lieber 100 oder mehr, mit dem Ergebnis (Trials, Bestellungen, Anfragen), der Marketingaktion in einer sinnvollen Einheit (Tausend Mails, Katalogexemplare, Euro Ausgaben) und den Kontrollen, die das Ergebnis ebenfalls bewegen: Ausgaben für bezahlte Suche, Preisänderungen, Feiertage und Ferienwochen als Flags, ein linearer Trend, vielleicht eine Launch Dummy. Wöchentlich ist die richtige Körnung für Mail; täglich ist zu verrauscht, monatlich versteckt die Kurve komplett.

Die Schritte, wie ich sie fahre:

Die Schätzschleife. Die meiste Zeit geht in die Wochentabelle und die Kontrollen, nicht in die Regression.

In Python mit statsmodels ist es kurz:

import numpy as np, pandas as pd, statsmodels.api as sm

L, p = 5, 3                                  # lag length, polynomial degree
x = df["emails_k"]                           # emails sent per week, in thousands
for j in range(p + 1):                       # Almon columns w_j = sum_k k^j x_{t-k}
    df[f"w{j}"] = sum((k ** j) * x.shift(k) for k in range(L + 1))
cols = [f"w{j}" for j in range(p + 1)] + ["paid_search", "holiday", "trend"]
X = sm.add_constant(df[cols])
fit = sm.OLS(df["trials"], X, missing="drop").fit(cov_type="HAC", cov_kwds={"maxlags": 4})
a = fit.params[[f"w{j}" for j in range(p + 1)]].to_numpy()
beta = np.array([sum(a[j] * k ** j for j in range(p + 1)) for k in range(L + 1)])
print(np.round(beta, 2), "total:", round(beta.sum(), 2))

Die HAC Standardfehler sind wichtig: wöchentliche Residuen sind autokorreliert, und schlichte OLS Standardfehler schmeicheln dir. Prüf die Autokorrelation der Residuen; ist sie stark, nimm ein verzögertes Ergebnis dazu oder modelliere die Fehler, und behandle das Intervall der Summe mit mehr Misstrauen.

Bevor du dem Ganzen vertraust: Holdout. Schätz auf den ersten 66 Wochen, prognostiziere die letzten 12, vergleich:

Woche	Mails (Tsd.)	Trials tatsächlich	Prognose	Fehler
67	31	101	95	6%
68	0	98	104	6%
69	0	91	94	3%
70	0	86	80	7%
71	0	64	68	6%
72	29	97	92	5%
73	0	93	100	8%
74	0	99	93	6%
75	0	72	77	7%
76	30	90	95	6%
77	0	108	103	5%
78	0	89	94	6%

Mittlerer absoluter Prozentfehler etwa 6 Prozent, gegen 14 Prozent für eine saisonale Basislinie, die Mail ignoriert. Wichtiger ist die Form: die Wochen 68 und 73, eine Woche nach einem Versand, sind in Ist und Prognose die hohen Wochen, und Woche 71, vier Wochen danach, ist in beiden das Tal. Das Modell hat das Timing richtig, und genau darauf wirst du handeln.

Wie lange dauert das? Mit einer sauberen Wochentabelle einen Nachmittag. Die Wochentabelle aus einem Export des Mailtools, einem Analytics Export und einer Finanztabelle zu bauen und sich zu einigen, was als Trial zählt, dauert eine Woche.

Fallen

Regelmässige Kadenz, kollineare Lags. Ich habe es oben gesagt und sage es noch einmal, weil es der häufigste Grund ist, warum das unbeschränkte Modell scheitert und das Almon Modell still fehlspezifiziert ist: wenn du immer am ersten Dienstag verschickst, sind Lag 0 und Lag 4 oder 5 fast dieselbe Variable. Verschieb den Versandtermin hin und wieder um eine Woche.

Glattheit ist eine Annahme. Das Polynom kann keine Klippe zeichnen. Ein Flash Sale, der am Sonntag endet, wirkt sechs Tage stark und am Montag exakt null; eine Kubische verschmiert das in die Folgewoche und erfindet einen Schwanz, der nicht da ist. Für Aktionen mit hartem Stichtag nimm kurze unbeschränkte Lags auf Tagesbasis oder modelliere den Stichtag explizit.

In dieser Woche hat sich noch etwas geändert. Werkbanks stärkste Trial Woche in der Stichprobe war keine Mailwoche; es war die Woche, in der ein Fachmagazin eine Rezension gebracht hat. Steht das nicht in den Kontrollen, versucht das Modell, es mit der nächstgelegenen Mail zu erklären, und die Lag Kurve bekommt einen Phantombuckel. Führ ein Logbuch über alles, was passiert ist, und nimm die grossen Dinge als Dummies hinein.

Umgekehrtes Timing. Marketer verschicken, wenn sie Nachfrage erwarten: vor der Saison, nach einem Produktlaunch. Sind die Versendungen auf erwartete Trials getaktet, schreibt das Lag Modell der Mail Trials zu, die sowieso gekommen wären. Saisonkontrollen helfen; ein ehrlicher Holdout hilft mehr; ein Test mit zufälligem Versandtiming klärt es.

Wochengrenzen. Ein Versand am Donnerstag legt drei Tage von Lag 0 in die Versandwoche und vier in die folgende, also ist der "Gipfel bei Lag 1" zum Teil ein Kalenderartefakt. Wenn du an einem fixen Wochentag verschickst, lass deine Analysewochen an diesem Wochentag beginnen. Klingt pedantisch; es verschiebt den Gipfel.

So mache ich das für Kunden

Das Ergebnis ist eine Lag Kurve, auf die du handeln kannst, kein Regressionsausdruck. Ich brauche einen Wochenexport aus deinem Mailtool oder Kampagnentool (Versendungen, Öffnungen, Abmeldungen), das Ergebnis aus deiner Produktdatenbank oder deinem Shop (Trials, Bestellungen, Anfragen) und alles andere, wofür du Woche für Woche Geld ausgegeben hast, plus einen Kalender mit Launches, Preisänderungen und allem Ungewöhnlichen. Sechzig Wochen sind der Boden; hast du weniger, sage ich das, und wir reden darüber, was sich daraus ehrlich lernen lässt.

Es beginnt mit einem kostenlosen Workshop, in dem wir die Frage festlegen (bei Werkbank: "wie oft sollen wir verschicken?"), das Ergebnis, das zählt, und wo die Daten liegen. Dann arbeite ich zwei Wochen echt und auf eigenes Risiko: Wochentabelle, Modell, Holdout und ein erster Entwurf der Kurve. Können die Daten die Antwort nicht tragen, hörst du das am Ende der zwei Wochen und schuldest nichts.

Du bekommst ein einseitiges Entscheidungsmemo mit einer Zahl und einem Risiko (bei Werkbank: 4,3 Trials pro 1.000 Mails mit Intervall, die Empfehlung auf drei Wochen, der erwartete Gewinn und das Abmelderisiko), das geschätzte Modell als Notebook, das dir gehört und das du jedes Quartal neu laufen lassen kannst, und ein kleines Dashboard, das eine Frage beantwortet: wie viel der Trials des letzten Monats hat Mail geliefert, und wann. Willst du auch den Split Test gefahren und ausgewertet haben, gehört das zu meiner Arbeit im Performance Marketing; das Modellieren selbst läuft unter Data Science. Die Preise stehen auf der Preisseite in klaren Worten: ein Fixpreis fürs Modellieren, und für laufende Wachstumsarbeit eine provisionsbasierte Option, bei der ich verdiene, wenn aus Trials Umsatz wird.

Fragen an alle, die dein Marketing messen

Wie viele Wochen nach einem Versand zählt ihr seine Wirkung weiter, und warum genau diese Zahl?
Könnt ihr mir die Lag Kurve zeigen, nicht nur eine Konversionsrate, für unsere letzten zwölf Kampagnen?
Welche Kontrollen stecken im Modell, und ist die Rezension aus der Fachpresse vom März drin?
Habt ihr das letzte Quartal zurückgehalten und prognostiziert, bevor ihr mir gesagt habt, dass das Modell funktioniert?
Wie breit ist das Konfidenzintervall der Gesamtwirkung, und würde die Entscheidung am unteren Ende anders ausfallen?
Ist unser Versandkalender so regelmässig, dass sich die Lags nicht trennen lassen, und sollten wir ihn variieren?
Berücksichtigt die Kadenzempfehlung Ermüdung und Abmeldungen, oder nur die Kurve?

Diese Serie ist inspiriert von Mike Grigsbys Marketing Analytics (Kogan Page). Erklärungen, Beispiele und Zahlen hier sind meine eigenen.