Den Wert von Marketingkommunikation modellieren

Drei Dashboards, drei Sieger, ein Quartal

Stell dir die Quartalsbesprechung bei Werkbuch vor, dem erfundenen SaaS auf Rails aus Leipzig, das in dieser Serie das Softwaregeschäft spielt. Es gibt Klempnern, Tischlern und Elektrikern einen Ort für ihren Kalender, ihre Angebote und ihre Rechnungen. In jedem Quartal liegen rund 8.000 Leads im CRM: Handwerker, die eine Vorlage für Angebote heruntergeladen oder eine Demo angesehen und noch keinen Testzugang gestartet haben. Über das Quartal bekommen sie Mails, Einladungen zu Webinaren und Retargeting Anzeigen.

Dann tragen drei Leute vor. Das Mailtool meldet 430 Testzugänge, die nach einem Klick auf eine Mail gestartet wurden. Die Webinarplattform meldet 210 Testzugänge von Angemeldeten. Die Retargeting Plattform meldet 540 Conversions, die meisten davon "view through", das heißt, der Lead hat eine Anzeige gesehen, nicht geklickt und später einen Testzugang gestartet.¹ Das ergibt zusammen 1.180 Testzugänge. Die Produktdatenbank sagt, dass im Quartal 770 Testzugänge gestartet wurden, und eine ganze Reihe dieser Leute hätte sich ohnehin angemeldet.

Jeder in diesem Raum hat nach seinem eigenen Bildschirm recht, und die Summe ist trotzdem unmöglich. Dieses Problem löst das Kapitel. Nicht "welcher Kanal bekommt die Anerkennung", das ist eine politische Frage, sondern "was ist eine weitere Mail, eine weitere Einladung zum Webinar, eine weitere Retargeting Impression wirklich wert, und wann höre ich auf". Das sind Fragen fürs Modell mit ehrlichen Antworten, und die Antworten verschieben das Budget meistens an eine Stelle, auf die die Plattformen dich lieber nicht schauen lassen würden.

Werkbuch und jede Zahl hier sind erfunden, damit ich jeden Schritt zeigen kann. Ich habe die Daten simuliert und jede Abfrage und jede Zeile Code unten darauf laufen lassen, die Zahlen im Text sind also das, was der Code ausgibt.

Wo dieses Kapitel in der Serie steht

Das ist Kapitel 15 von 21 meiner Serie Marketing Analytics und das erste des vierten Teils, in dem es um Medien und Loyalität geht. Es folgt auf Werkzeuge der Segmentierung: k means, Latent Class und mehr als RFM, und das nicht zufällig: Der Kontaktplan am Ende dieses Kapitels wird je Segment festgelegt, also werden Segmente der Art, wie sie dort entstehen, hier zu den Zeilen des Plans. Das nächste Kapitel, Media Mix Modelling: Adstock, Sättigung und wohin das nächste Budget geht, hebt dieselbe Idee vom einzelnen Lead auf das ganze Budget und ergänzt das Gedächtnis über die Zeit. Die Grundlagen, die hier vorkommen, vom Mittelwert bis zur Regression, baut die Seite Grundlagen von Grund auf auf.

Zugeschriebener Wert und zusätzlicher Wert sind verschiedene Dinge

Zugeschriebener Wert ist das, was sich eine Plattform nach einer Regel selbst zuteilt. Last Click ist der Klassiker: Die zuletzt geklickte Anzeige bekommt die ganze Anerkennung für die Conversion.² View through ist noch großzügiger: Auch eine Anzeige, die dem Lead nur gezeigt wurde, bekommt Anerkennung. Regeln sind keine Messungen. Sie können dir nicht sagen, was ohne den Kontakt passiert wäre, und das ist die einzige Definition von Wert, die einen Finanzchef übersteht.

Zusätzlicher Wert ist der Unterschied zwischen dem, was mit der Kommunikation passiert ist, und dem, was ohne sie passiert wäre, mal dem Wert einer Reaktion. Dieses "ohne sie" ist ein kontrafaktischer Zustand, für einen einzelnen Lead nie beobachtet. Du schätzt ihn auf zwei Wegen, die übereinstimmen sollten. Ein Reaktionsmodell über alle Leads liefert die Form des Zusammenhangs zwischen Kontakten und Reaktion. Eine Holdout Gruppe, eine zufällige Menge von Leads, die die Kommunikation nicht bekommen, liefert eine saubere Messung des Niveaus. Ich nutze beides, und wenn sie sich widersprechen, vertraue ich beim Niveau dem Holdout und bei der Form dem Modell. Für diese Reihenfolge gibt es Belege: Über 15 große Werbeexperimente bei Facebook hinweg konnten die üblichen Beobachtungsmethoden oft nicht nachbilden, was die randomisierten Experimente gemessen hatten.³ Die allgemeine Logik, wie du einen Lift belegst, steht in Fünf Wege um zu beweisen, dass eine Kampagne wirklich gewirkt hat.

Ein Beispiel: Ein Lead bekommt vier Mails und startet einen Testzugang. Last Click gibt diesen Testzugang der vierten Mail, wenn der Lead sie geklickt hat. Die Frage nach dem zusätzlichen Wert ist eine andere: Wie viele von 100 Leads wie diesem hätten ganz ohne Mail einen Testzugang gestartet? Lautet die Antwort 6 und die Gruppe mit Mails zeigt 10, hat Mail 4 von 100 Testzugängen bewirkt, nicht 10.

Das Reaktionsmodell für Kommunikation

Das Kernmodell sagt, dass die Chance eines Leads, in einem Quartal einen Testzugang zu starten, davon abhängt, wie oft ihn jeder Kanal erreicht hat, mit abnehmendem Ertrag je Kanal, dazu eine Wechselwirkung zwischen Kanälen und das, was über den Lead bekannt ist. Ausgeschrieben für die drei Kanäle von Werkbuch:

$$T_i = \beta_0 + \beta_e \ln(1+E_i) + \beta_w \ln(1+W_i) + \beta_r \ln(1+R_i) + \beta_{er} \ln(1+E_i)\ln(1+R_i) + \gamma^\top X_i + \varepsilon_i$$

Dabei ist $T_i$ gleich 1, wenn Lead $i$ im Quartal einen Testzugang gestartet hat, und 0, wenn nicht. $E_i$ ist die Zahl der Mails, die der Lead bekommen hat, $W_i$ die Zahl der Einladungen zum Webinar und $R_i$ der Retargeting Kontakt in Blöcken von zehn Impressionen, weil eine einzelne Impression eine zu feine Einheit ist, um etwas zu bedeuten. $\ln$ ist der natürliche Logarithmus. $\beta_0$ ist der Achsenabschnitt, die Rate an Testzugängen eines Leads, der nichts bekommen hat. $\beta_e$, $\beta_w$ und $\beta_r$ sind die Effekte der Kanäle, $\beta_{er}$ ist die Wechselwirkung zwischen Mail und Retargeting, $X_i$ ist ein Vektor mit Merkmalen des Leads (Segment, Alter des Leads, Quartal) mit den Koeffizienten $\gamma$, und $\varepsilon_i$ ist der Fehler. Die Eins in jedem Logarithmus hält Leads ohne Kontakte in den Daten, denn den Logarithmus von null gibt es nicht. Grundlagen: Regression und Grundlagen: Logarithmen

Warum der Logarithmus? Weil eine erste Mail an einen Lead, der seit Monaten nichts von dir gehört hat, weit mehr bewirkt als die zwölfte. Die Form des Logarithmus bildet genau das ab: Jeder weitere Kontakt bringt weniger als der davor, nie ganz nichts und nie etwas Negatives. Diese letzte Eigenschaft ist eine Grenze, kein Vorzug. Echte Menschen haben irgendwann genug, und die Ermüdung behandle ich auf der Kostenseite, statt die Kurve zu verbiegen.

Rechenbeispiel: was der Logarithmus mit zwölf Mails macht

Nimm einen Koeffizienten für Mail von 0,0122. Eine Mail bringt einen Lead von $\ln 1 = 0$ auf $\ln 2 = 0{,}693$, die Wahrscheinlichkeit für einen Testzugang steigt also um $0{,}0122 \times 0{,}693 = 0{,}0085$, 0,85 Prozentpunkte. Zwölf Mails ergeben $\ln 13 = 2{,}565$, also $0{,}0122 \times 2{,}565 = 0{,}031$, 3,1 Punkte. Die erste Mail hat mehr als ein Viertel dessen gebracht, was alle zwölf zusammen bringen.

Ich habe das als lineares Wahrscheinlichkeitsmodell geschrieben, eine Regression auf ein Ergebnis, das 0 oder 1 ist. Die logistische Regression ist die seriösere Wahl, und ich schätze beide. Die lineare Fassung hält die Grenzwerte ohne Taschenrechner lesbar. Auf den Daten von Werkbuch stimmen beide eng überein: Mail aus dem letzten Quartal herauszunehmen kostet im linearen Modell 271 Testzugänge und im logistischen 267, was du mit den marginalen Effekten des logistischen Modells vergleichen kannst.⁴

Die Zahl, auf die es ankommt, ist der Grenzwert

Kein Koeffizient trifft für sich eine Entscheidung. Die Zahl für die Entscheidung ist der Grenzwert eines weiteren Kontakts: wie stark eine weitere Mail die erwartete Wahrscheinlichkeit für einen Testzugang erhöht, mal dem Wert eines Testzugangs.

$$MV_E = V \cdot \frac{\partial\, \mathbb{E}[T]}{\partial E} = V \cdot \frac{\beta_e + \beta_{er}\ln(1+R)}{1+E}$$

Dabei ist $MV_E$ das Geld, das eine weitere Mail erwartungsgemäß einbringt. $V$ ist der Wert eines Testzugangs, für Werkbuch die erwartete abgezinste Marge, zu der ein Testzugang wird. $\mathbb{E}[T]$ ist die erwartete Wahrscheinlichkeit für einen Testzugang, und $\partial\, \mathbb{E}[T] / \partial E$ ist, wie stark sie mit einer weiteren Mail steigt. $E$ und $R$ sind die Mails und Retargeting Blöcke, die der Lead schon bekommen hat, und $\beta_e$ und $\beta_{er}$ sind wie im Modell. Das $1+E$ im Nenner ist der Logarithmus bei der Arbeit: Bei $E = 0$ gilt der ganze Koeffizient, bei $E = 9$ nur noch ein Zehntel davon. Retargeting macht jede Mail etwas wirksamer, und dafür steht die Wechselwirkung im Zähler. Grundlagen: Grenzwert und Durchschnitt

Setz den Grenzwert gleich den Kosten eines Kontakts und lös nach $E$ auf. Das ergibt die optimale Frequenz:

$$E^{*} = \frac{V \left(\beta_e + \beta_{er}\ln(1+R)\right)}{c_e} - 1$$

Dabei ist $E^{*}$ die Zahl der Mails pro Quartal, ab der die nächste mehr kosten würde, als sie einbringt, $c_e$ sind die vollen Kosten einer Mail an einen Lead, und die übrigen Symbole sind wie oben. Die vollen Kosten definiere ich weiter unten genau, denn an dieser Stelle liegen die meisten Optimierer für Frequenzen daneben. Grundlagen: Grenzwert und Durchschnitt

Rechenbeispiel: der Wert eines Testzugangs bei Werkbuch

Die Annahmen des Beispiels: Rund 22 % der Testzugänge bei Werkbuch werden zu zahlenden Accounts, und ein zahlender Account ist über die Mischung der Pläne rund 1.360 € an abgezinster Marge wert (das Kapitel zur Survival Analyse zeigt, wie so eine Zahl entsteht, mit Accounts im Plan Team, die weit mehr wert sind, und Accounts im Plan Starter, die weit weniger wert sind). Also ist $V = 0{,}22 \times 1.360 = 299$ €, gerundet auf 300 € für alles, was folgt.

Drei Kanäle bei Werkbuch, je eine Kurve

Ich habe das Modell auf vier Quartalen geschätzt, Juli 2025 bis Juni 2026, mit einer Zeile je aktivem Lead und Quartal: 32.000 Zeilen. Vier Quartale sind kein Luxus: Bei einem Ergebnis von 0 oder 1 mit einer Rate von 10 % liefert ein Quartal mit 8.000 Leads doppelt so breite Standardfehler. Die Standardfehler sind nach Lead geclustert, weil derselbe Lead in mehreren Quartalen auftauchen kann.⁵

Term	Koeffizient	Standardfehler	Was er sagt
Achsenabschnitt (solo, durchschnittliches Alter des Leads, erstes Quartal, kein Kontakt)	$0{,}017$	$0{,}011$	Rund 1,7 % starten ganz ohne Kontakt einen Testzugang
ln(1 + Mails)	0,0122	0,0042	Die erste Mail bringt 0,85 Punkte, zwölf bringen 3,1
ln(1 + Einladungen zum Webinar)	0,0349	0,0082	Eine Einladung bringt 2,4 Punkte, der stärkste Hebel
ln(1 + Retargeting, je 10 Impressionen)	0,0070	0,0082	Zehn Impressionen bringen 0,5 Punkte, nicht von null zu unterscheiden
ln(1 + Mails) x ln(1 + Retargeting)	0,0025	0,0032	Positiv, nicht von null zu unterscheiden
Segment: wachsender Betrieb, 3 bis 10 Beschäftigte	0,0372	0,0039	3,7 Punkte über Soloselbstständigen
Segment: etablierter Betrieb	0,0223	0,0046	2,2 Punkte über Soloselbstständigen
ln(Alter des Leads in Monaten), zentriert	minus 0,0058	0,0019	Ältere Leads reagieren etwas weniger

Effekte der Quartale stecken ebenfalls im Modell, damit ein starker Januar nicht den Mails aus dem Januar gutgeschrieben wird. Keiner unterscheidet sich klar von null, deshalb fehlen sie in der Tabelle.

Lies sie Zeile für Zeile. Der Achsenabschnitt ist die Basis: Für das letzte Quartal setzt das Modell 284 der 770 Testzugänge auf dem Niveau ohne Kontakt an, Testzugänge, für die sich in dieser Besprechung niemand feiern lassen sollte. Der Koeffizient für Mail sieht winzig aus, wie es Koeffizienten auf logarithmierten Termen immer tun, und sein Intervall zu 95 % reicht von 0,0039 bis 0,0204, was gleich noch wichtig wird. Grundlagen: Konfidenzintervalle Einladungen zum Webinar sind pro Kontakt der stärkste Hebel, keine Überraschung, wenn das Webinar zeigt, wie Software für Terminplanung tatsächlich funktioniert. Der Standardfehler von Retargeting ist größer als die Schätzung selbst, das Modell kann also nicht sagen, ob es überhaupt wirkt. Die Wechselwirkung steht genauso da: positiv, mit einem Intervall, das null einschließt, also sollte sich der Plan nicht darauf stützen. Die Terme für die Segmente stammen aus einer Segmentierung mit k means nach Betriebsgröße, und der Term für das Alter sagt, dass ein Lead aus 2024 kein Lead vom letzten Monat ist.

Das R Quadrat liegt unter 0,01, und das ist in Ordnung: Es geht nicht darum, vorherzusagen, welche einzelne Person einen Testzugang startet, sondern wie sich die Rate bewegt, wenn sich die Kontakte bewegen. Was ich prüfe, ist, dass ein Dezilchart aus vorhergesagter und tatsächlicher Rate gleichmäßig steigt. Hier tut er das, von 6,2 % im niedrigsten vorhergesagten Zehntel bis 14,8 % im höchsten, mit der tatsächlichen Rate in jedem Zehntel innerhalb von etwa einem Punkt um die Vorhersage.

Die waagrechte Achse ist die Zahl der Kontakte im Quartal, die senkrechte der geschätzte Anstieg der Rate an Testzugängen in Prozentpunkten. Jede Kurve ist der Koeffizient mal $\ln(1 + \text{Kontakte})$. Was du mitnimmst: Jede Kurve ist am Anfang steil und am Ende flach. Eine Warnung zur Linie der Webinare: Werkbuch hat nie mehr als zwei Einladungen pro Quartal verschickt, alles jenseits von zwei spricht also die Form des Logarithmus, nicht die Daten.

Wann du aufhören solltest zu senden

Jetzt das Geld. Mit $V$ bei 300 € und $\beta_e$ bei 0,0122 ist der Grenzwert einer weiteren Mail an einen Lead ohne Retargeting $300 \times 0{,}0122 / (1+E)$, also 3,66 € geteilt durch eins plus die schon verschickten Mails. Die erste Mail ist 3,66 € wert, die vierte $3{,}66 / 4 = 0{,}92$ €, die zehnte $3{,}66 / 10 = 0{,}37$ €.

Auf der Kostenseite zerfällt die naive Fassung dieser Analyse. Eine Mail kostet im Versand vielleicht zwei Cent, und wäre das die ganzen Kosten, würde die Formel $300 \times 0{,}0122 / 0{,}02 - 1 = 182$ Mails pro Quartal sagen, und das ist die Definition einer Kontaktstrategie aus Sicht eines Spamfilters. Die echten Kosten einer weiteren Mail schließen die Chance ein, dass sich der Lead abmeldet, und den Wert, der dann verloren geht.

Rechenbeispiel: die vollen Kosten einer Mail

Die Annahmen des Beispiels: Über die Liste von Werkbuch hinweg melden sich bei jeder Mail 0,45 % der Empfänger ab, und ein aktiver Lead auf der Liste ist rund 40 € an erwarteten künftigen Testzugängen wert (grob eine Chance von 13 % auf einen künftigen Testzugang im Wert von 300 €). Jede Mail trägt also $0{,}0045 \times 40 = 0{,}18$ € an erwartetem Schaden für die Liste, zusätzlich zu 0,02 € für den Versand, zusammen 0,20 €. Das ist $c_e$ für den durchschnittlichen Lead, und es macht das Optimum vernünftig:

$$E^{*} = \frac{300 \times 0{,}0122}{0{,}20} - 1 = 18{,}3 - 1 = 17{,}3$$

Dabei ist $V = 300$, $\beta_e = 0{,}0122$ und $c_e = 0{,}20$, ohne Retargeting, also $R = 0$. Grundlagen: Grenzwert und Durchschnitt Also rund 17 Mails pro Quartal, etwas mehr als eine pro Woche, gegen die 12, die Werkbuch derzeit plant.

Die Ermüdung ist nicht hypothetisch. Im Kapitel zu verteilten Lags hat Korbwerk, der erfundene Shop für Geschenkkörbe in Hamburg, für sein Sortiment zum Muttertag zweimal im Abstand von zwei Wochen verschickt, in den Wochen 17 und 19, und die Abmelderate beim zweiten Versand lag ungefähr beim Doppelten des Üblichen. Eine feste Abmelderate je Mail ist die sanfte Fassung davon.

Die waagrechte Achse ist die Zahl der Mails, die ein Lead in diesem Quartal schon bekommen hat, die senkrechte Euro je Mail. Die fallende Linie ist der Grenzwert der nächsten Mail, die flache ihre vollen Kosten. Was du mitnimmst: Wo sie sich kreuzen, bei rund 17, hört die nächste Mail auf, sich zu bezahlen.

Jetzt der ehrliche Teil. Das Intervall des Koeffizienten für Mail reicht von 0,0039 bis 0,0204. Setz das in dieselbe Formel ein, und das Optimum reicht von $300 \times 0{,}0039 / 0{,}20 - 1 = 4{,}9$ bis $300 \times 0{,}0204 / 0{,}20 - 1 = 29{,}6$. Irgendwo zwischen fünf und 30 Mails pro Quartal ist kein Plan, es ist eine Spanne. Das Modell sagt "wahrscheinlich mehr als 12". Es sagt nicht "17", und das Entscheidungspapier sollte es auch nicht sagen.

Der Kontaktplan wird je Segment festgelegt

Der Koeffizient für Mail, die Abmelderate und der Wert eines Leads auf der Liste unterscheiden sich je Segment, also auch das Optimum. Verbinde den Mailterm mit dem Segment, und du bekommst einen Koeffizienten je Segment.

Segment	Anteil der Leads	Koeffizient für Mail (Standardfehler)	Volle Kosten je Mail	Optimale Mails pro Quartal	Aktuell	Entscheidung
Soloselbstständige	45 %	0,0096 (0,0048)	0,22 €	12	12	Beibehalten
Wachsende Betriebe	35 %	0,0170 (0,0060)	0,18 €	27	12	18 gegen 12 testen
Etablierte Betriebe	20 %	0,0085 (0,0079)	0,30 €	7 oder 8	12	Alle zwei Wochen gegen 12 testen

Rechenbeispiel: die drei Optima

Die Annahmen zu den Kosten: Soloselbstständige melden sich je Mail zu 0,5 % ab, also $0{,}005 \times 40 + 0{,}02 = 0{,}22$ €. Wachsende Betriebe melden sich zu 0,4 % ab, also $0{,}004 \times 40 + 0{,}02 = 0{,}18$ €. Etablierte Betriebe melden sich ebenfalls zu 0,4 % ab, aber ein verlorener etablierter Betrieb kostet mehr, weil einer, der konvertiert, mehr Plätze kauft. Das Beispiel bewertet einen aktiven Lead dort deshalb mit 70 €: $0{,}004 \times 70 + 0{,}02 = 0{,}30$ €. Dann:

$$E^{*}_{\text{solo}} = \frac{300 \times 0{,}0096}{0{,}22} - 1 = 12{,}1, \quad E^{*}_{\text{growing}} = \frac{300 \times 0{,}0170}{0{,}18} - 1 = 27{,}3, \quad E^{*}_{\text{established}} = \frac{300 \times 0{,}0085}{0{,}30} - 1 = 7{,}5$$

Jedes $E^{*}$ nutzt den eigenen Koeffizienten für Mail des Segments anstelle von $\beta_e$ und seine eigenen vollen Kosten $c_e$, mit $V = 300$ durchgehend. Die Indizes stehen für solo (Soloselbstständige), growing (wachsende Betriebe) und established (etablierte Betriebe). Grundlagen: Grenzwert und Durchschnitt

Werkbuch hatte zwölf Mails pro Quartal für alle geplant. Nach den Punktschätzungen passt das für Soloselbstständige ungefähr, wachsende Betriebe werden zu selten angeschrieben und etablierte Betriebe zu oft. Was sich ändert, ist weniger, wie viele Mails rausgehen, als wer sie bekommt.

Jetzt schau auf die Standardfehler. Jeder Koeffizient eines Segments ruht auf einem Drittel der Daten, also sind die Intervalle breit: Für etablierte Betriebe reicht das Intervall des Koeffizienten von minus $0{,}007$ bis $0{,}024$, es schließt also nicht einmal aus, dass Mail bei ihnen gar nichts bewirkt. Deshalb steht in der Spalte Entscheidung zweimal "testen". Das Modell sagt dir, wo du hinschauen sollst. Ein randomisierter Test der Frequenz, die Hälfte der wachsenden Betriebe ein Quartal lang mit 18 Mails und die andere Hälfte mit 12, sagt dir, ob du handeln sollst. Mein kompletter Leitfaden zu digitalen Marketing Testmethoden hat die Details zum Design.

Noch etwas zeigt die Formel. Ist die Wechselwirkung echt, hat ein Lead, der zusätzlich mit rund 15 Blöcken Impressionen im Retargeting Pool sitzt, einen wirksamen Koeffizienten für Mail von $0{,}0122 + 0{,}0025 \times \ln 16 = 0{,}0191$, und das Optimum wandert von 17 auf $300 \times 0{,}0191 / 0{,}20 - 1 = 27{,}7$, rund 28. Kanäle müssen gemeinsam geplant werden. Eine Obergrenze für die Frequenz, die im Mailtool gesetzt wird, ohne auf die Werbeplattform zu schauen, ist Raten. Das ist Marginaler ROI statt durchschnittlicher ROI, angewandt auf jeden einzelnen Kontakt.

Einladungen zum Webinar und Retargeting laufen durch denselben Optimierer. Die Kosten des Beispiels: 2,50 € je Einladung einschließlich der Produktion des Webinars und wirksam 0,15 € je Block aus zehn Impressionen, Ermüdung eingerechnet. Für Webinare gilt $300 \times 0{,}0349 / 2{,}50 - 1 = 3{,}2$, also rund drei pro Quartal, wo Werkbuch bisher eins oder zwei veranstaltet hat. Zwei liegen gut in den Daten. Drei sind einen Schritt darüber hinaus und verdienen einen Test. Für Retargeting ohne Mail gilt $300 \times 0{,}0070 / 0{,}15 - 1 = 13$ Blöcke, rund 130 Impressionen pro Quartal. Aber der Koeffizient für Retargeting ist nicht von null zu unterscheiden, und wenn das Intervall des Koeffizienten null einschließt, gilt das auch für die optimale Frequenz. Die Obergrenze bleibt, wo sie ist, bis ein Holdout mehr sagt.

Zusätzlicher Wert gegen das, was die Plattformen behaupteten

Hier ist die Tabelle, die den Streit in der Quartalsbesprechung beendet hat. Die Ausgaben schließen die Zeit von Menschen ein. Die Spalte Modell zeigt, was das geschätzte Modell verliert, wenn ein Kanal für jeden Lead auf null gesetzt wird und alles andere bleibt, wie es war. Die Spalte Holdout ist der gemessene Lift mit seinem Intervall zu 95 %, aus dem nächsten Abschnitt.

Kanal	Ausgaben	Von der Plattform beanspruchte Testzugänge	Zusätzliche Testzugänge, Modell	Zusätzliche Testzugänge, Holdout (Intervall 95 %)	Zusätzlicher Wert bei 300 €	Wert je ausgegebenem €
Mail	3.200 €	430	271	270 (139 bis 401)	81.000 €	25,3
Webinare	6.000 €	210	162	130 (minus 14 bis 274)	39.000 €	6,5
Retargeting	7.200 €	540	98	80 (minus 68 bis 228)	24.000 €	3,3
Geteilt von Mail und Retargeting	in beiden gezählt	nicht berichtet	45	in beiden enthalten
Basis, kein Kontakt	0 €	0	284
Gesamt	16.400 €	1.180	770

Die Spalten zum Wert nutzen die Zahl aus dem Holdout:

$$\text{Wert je €} = \frac{\Delta T \times V}{S}$$

Dabei ist $\Delta T$ die Zahl der zusätzlichen Testzugänge des Kanals, $V$ der Wert eines Testzugangs und $S$ die Ausgaben des Kanals im Quartal. Für Mail gilt $270 \times 300 / 3.200 = 25{,}3$. Grundlagen: Verhältnisse und Raten

Die 45 geteilten Testzugänge stecken sowohl in der Zahl für Mail als auch in der für Retargeting, die Spalte Modell ergibt die tatsächlich gestarteten Testzugänge also nur, wenn sie einmal gezählt werden: $271 + 162 + 98 - 45 + 284 = 770$.

Die Plattformen beanspruchten 1.180 Testzugänge für ein Quartal, das 770 hervorgebracht hat, und nichts für die 284 Leads, die sich ohnehin angemeldet hätten. Retargeting ist die schärfste Lektion: 540 beanspruchte Conversions, bei 300 € je Stück 162.000 € Wert auf 7.200 € Ausgaben, also 22,5 zu eins. Der Holdout sagt 80 zusätzliche Testzugänge, 24.000 €, 3,3 zu eins, und sein Intervall reicht unter null. Selbst das obere Ende dieses Intervalls, 228, liegt unter der Hälfte der Behauptung. View through Attribution nimmt Anerkennung dafür in Anspruch, Menschen eine Anzeige zu zeigen, die schon auf dem Weg zur Seite für die Anmeldung waren. Auch Mail und Webinare beanspruchen zu viel, um rund 60 %, aber ihre Behauptungen liegen in der richtigen Gegend, wie es meist passiert, wenn ein Kanal eine echte Handlung des Leads braucht. Hast du diese Tabelle, wird die Budgetfrage zu der, die ich in Wohin soll dein nächster Marketing Euro gehen? beschreibe: zu dem Kanal, dessen nächster Euro, nicht dessen durchschnittlicher Euro, am meisten einbringt.

Die geteilte Zeile finden die Leute seltsam. Fünfundvierzig Testzugänge gehören im Modell Mail und Retargeting gemeinsam und lassen sich ohne eine Regel nicht aufteilen, und ich weigere mich, eine zu erfinden. Ich berichte sie als geteilten Wert und entscheide auf der Ebene des Paares: beide kürzen, beide behalten oder Budget zwischen ihnen verschieben. Diese Frage beantwortet das Modell sauber.

Holdout Gruppen sind der Goldstandard

Eine Holdout Gruppe ist eine zufällige Teilmenge von Leads, die die Kommunikation nicht bekommen. Alles andere an ihnen ist im Erwartungswert gleich, also ist der Unterschied in der Rate an Testzugängen die ursächliche Wirkung der Kommunikation. Das Modell kann das nicht ersetzen. Es nimmt an, dass die Kontakte nicht gezielt auf die Leads gerichtet waren, die ohnehin am ehesten konvertieren, und im echten Marketingbetrieb ist das immer teilweise falsch: Der Vertrieb ruft die heißen Leads an, und der Algorithmus fürs Retargeting zeigt Leuten mehr Anzeigen, die sich wie Käufer verhalten.

Das Diagramm läuft von der Liste der Leads bis zum Vergleich mit der Behauptung. Randomisier innerhalb des Segments, damit beide Gruppen dieselbe Mischung an Segmenten haben und sich nur in der Mail unterscheiden.

Der Lift und seine Unsicherheit:

$$\widehat{L} = \bar{y}_T - \bar{y}_H, \qquad SE(\widehat{L}) = \sqrt{\frac{\bar{y}_T(1-\bar{y}_T)}{n_T} + \frac{\bar{y}_H(1-\bar{y}_H)}{n_H}}$$

Dabei ist $\widehat{L}$ der geschätzte Lift, $\bar{y}_T$ und $\bar{y}_H$ sind die Raten an Testzugängen in der behandelten Gruppe und im Holdout, $n_T$ und $n_H$ die Größen der Gruppen, und $SE(\widehat{L})$ ist der Standardfehler des Lifts, der übliche für einen Unterschied zwischen zwei Anteilen.⁶ Grundlagen: Konfidenzintervalle

Rechenbeispiel: den Holdout für Mail auslesen

Die behandelte Gruppe aus 7.200 Leads startete 720 Testzugänge, 10,0 %. Der Holdout aus 800 startete 50, 6,25 %. Der Lift ist $0{,}100 - 0{,}0625 = 0{,}0375$, 3,75 Punkte, und $0{,}0375 \times 7.200 = 270$ zusätzliche Testzugänge. Der Standardfehler:

$$SE = \sqrt{\frac{0{,}100 \times 0{,}900}{7.200} + \frac{0{,}0625 \times 0{,}9375}{800}} = \sqrt{0{,}0000125 + 0{,}0000732} = 0{,}0093$$

Also 0,93 Punkte, und das Intervall zu 95 % ist $3{,}75 \pm 1{,}96 \times 0{,}93$, von 1,94 bis 5,56 Punkten, oder 139 bis 401 Testzugänge. Das ist breit, und ich schreibe das ins Entscheidungspapier. Ein Quartal mit einem Holdout von 10 % liefert die Richtung und die grobe Größe. Ein Holdout von 20 % würde das Intervall von etwa plus minus 1,8 Punkten auf etwa 1,4 verengen. Die 271 des Modells liegen im Intervall, und genau diese Übereinstimmung suche ich.

Jeder Kanal braucht seine eigene Logik für den Holdout. Mail ist einfach: die Versände für eine zufällige Gruppe unterdrücken. Retargeting ist schwieriger, weil die Plattform entscheidet, wer was sieht. Die sauberen Optionen sind ein geografischer Holdout, bei dem eine zufällige Menge von Regionen kein Retargeting bekommt,⁷ oder ein Design mit Ghost Ads, bei dem die Plattform festhält, welche Nutzer der Kontrollgruppe die Anzeige gesehen hätten, damit sie sich mit denen vergleichen lassen, die sie tatsächlich gesehen haben.⁸ Webinare sind am schwierigsten, weil die Teilnahme eine Entscheidung ist und Teilnehmende ohnehin häufiger konvertiert wären. Das ehrliche Design hält die Einladung von zufälligen 10 % zurück und vergleicht Eingeladene mit nicht Eingeladenen, nie Teilnehmende mit nicht Teilnehmenden. Bei Werkbuch ergab das 130 zusätzliche Testzugänge gegen die 210 der Plattform, niedriger gerade wegen dieser Selbstauswahl.

Selbst umsetzen

Du brauchst eine Tabelle mit einer Zeile je Lead und Quartal: Kontakte je Kanal, das Ergebnis und alles, was du über den Lead weißt. Liegen deine Kontakte in vier Werkzeugen, geht die erste Woche dafür drauf, sie mit einer einheitlichen Kennung des Leads an einen Ort zu bringen, und in dieser Woche steckt meist das ganze Risiko des Projekts. Die Abfrage geht von vier Tabellen aus: leads, lead_quarters (welche Leads in welchem Quartal aktiv waren und wer im Holdout war), touches und trials.

with contacts as (
  select lead_id,
         date_trunc('quarter', touched_at) as quarter,
         count(*) filter (where channel = 'email')   as emails,
         count(*) filter (where channel = 'webinar') as webinar_invites,
         coalesce(sum(impressions) filter (where channel = 'retargeting'), 0) / 10.0 as retargeting_10
  from touches
  where touched_at >= date '2025-07-01' and touched_at < date '2026-07-01'
  group by lead_id, quarter
)
select q.lead_id, q.quarter, l.segment, l.created_at, q.holdout_email,
       coalesce(c.emails, 0)          as emails,
       coalesce(c.webinar_invites, 0) as webinar_invites,
       coalesce(c.retargeting_10, 0)  as retargeting_10,
       (t.lead_id is not null)::int   as trial
from lead_quarters q
join leads l using (lead_id)
left join contacts c on c.lead_id = q.lead_id and c.quarter = q.quarter
left join trials t on t.lead_id = q.lead_id
  and date_trunc('quarter', t.started_at) = q.quarter;

Dann Modell und Optimierer, kurz in Python mit statsmodels, wobei df das Ergebnis der Abfrage ist:

import numpy as np
import pandas as pd
import statsmodels.formula.api as smf

months = (pd.to_datetime(df["quarter"]) - pd.to_datetime(df["created_at"])).dt.days / 30.4
df["log_age"] = np.log(months.round().clip(lower=1))
df["log_age"] -= df["log_age"].mean()
df["lE"] = np.log1p(df["emails"])
df["lW"] = np.log1p(df["webinar_invites"])
df["lR"] = np.log1p(df["retargeting_10"])
m = smf.ols("trial ~ lE + lW + lR + lE:lR + C(segment, Treatment('solo')) + log_age + C(quarter)",
            data=df).fit(cov_type="cluster", cov_kwds={"groups": df["lead_id"]})
print(m.summary())

V, cost_email = 300.0, 0.20
b_e, b_er = m.params["lE"], m.params["lE:lR"]
optimal_emails = lambda blocks: V * (b_e + b_er * np.log1p(blocks)) / cost_email - 1
print({r: round(optimal_emails(r)) for r in (0, 15)})

Auf den Daten von Werkbuch gibt die letzte Zeile {0: 17, 15: 28} aus, die beiden Optima aus den Rechenbeispielen. Robuste Standardfehler zählen, weil das Ergebnis 0 oder 1 ist und seine Varianz nicht konstant, und das Clustern nach Lead zählt, weil derselbe Lead in mehreren Quartalen auftaucht.⁵ Schätz die logistische Fassung daneben und vergleich die implizierten Effekte. Weichen sie mehr als ein wenig voneinander ab, liegen deine Reaktionsraten außerhalb des Bereichs, in dem das lineare Modell sicher ist.

Mit sauberen Daten dauern Modell, Auslesen des Holdouts und Kontaktplan rund zwei Wochen. Bevor ich dem Ergebnis traue, prüfe ich vier Dinge. Die Koeffizienten behalten Vorzeichen und ungefähre Größe, wenn das Modell auf anderen Quartalen neu geschätzt wird. Der Lift aus dem Holdout und die Schätzung des Modells für diesen Kanal überlappen. Der Dezilchart aus vorhergesagter und tatsächlicher Rate steigt gleichmäßig. Und der Holdout hat wirklich nichts bekommen. Ich habe gesehen, wie ein Merkmal "abgemeldet" still als Holdout benutzt wurde, und das ist keine zufällige Gruppe und macht aus der ganzen Übung Fiktion.

Fallstricke

Kontakte behandeln, als wären sie zufällig verteilt. Das sind sie fast nie. Der Vertrieb ruft die heißesten Leads an, der Algorithmus fürs Retargeting jagt Leuten nach, die wie Käufer aussehen, das Webinar zieht die ohnehin Neugierigen an, und das Modell schreibt dem Kanal die Absicht gut, die der Lead schon hatte. Kontrollvariablen in $X_i$ helfen, der Holdout heilt, und wo du keins von beiden hast, schreib es ins Entscheidungspapier. Wenn das Budget selbst dem Umsatz folgt, zeigt das Kapitel zu simultanen Gleichungen, was das mit einer Regression macht.

Kosten, die nur aus dem Versand bestehen. Die Mail für zwei Cent ist der teuerste Fehler in diesem Kapitel. Ohne den Schaden durch Abmeldungen in den Kosten empfiehlt der Optimierer 182 Mails pro Quartal. Miss die Abmelderate je Mail und Segment und den Wert eines aktiven Leads, und das Optimum sinkt auf etwas, das ein Mensch wiedererkennt.

Den Attributionsbericht als Messung lesen. Er ist eine Regel. Last Click schreibt dem, was am nächsten an der Ziellinie liegt, zu viel gut, meist der Markensuche und dem Retargeting, und dem, was die Leute vorher angewärmt hat, zu wenig. Vergleich nie die zugeschriebene Zahl eines Kanals mit der zusätzlichen Zahl eines anderen. Sie stehen nicht auf derselben Skala.

Holdouts, die zu klein oder zu kurz sind. Ein Holdout von 5 % bei 8.000 Leads liefert ein Intervall von etwa plus minus 2,5 Punkten, breiter als die meisten Effekte der Kanäle in diesem Kapitel. Bemiss den Holdout nach dem Lift, den du erkennen musst, und akzeptier, dass eine Entscheidung über die Frequenz, die ein paar Tausend Euro im Quartal wert ist, zwei Quartale an Belegen verdient. Grundlagen: Stichprobengröße

Die Kurve des Logarithmus versprechen lassen, dass mehr immer ein bisschen besser ist. Das Modell wird nie negativ, weil es so gebaut ist, dass es das nicht kann. Echte Zielgruppen werden es, durch Abmeldungen, Spambeschwerden und den langsamen Verschleiß der Aufmerksamkeit. Pack die Ermüdung in die Kosten, beobachte die Beschwerderaten und behandle das Optimum als Obergrenze, nicht als Ziel.

Wie ich das für Kunden mache

Das Ergebnis ist ein Kontaktplan mit einer Zahl und einem Risiko an jeder Zeile, keine Modelldatei. Dafür brauche ich je Lead die Kontakte nach Kanal mit Zeitstempel, das Ergebnis, das dir wichtig ist (Testzugang, Bestellung oder Buchung), und alle Segment oder Firmendaten, die du hast. Exporte aus dem Mailtool, den Werbeplattformen und dem CRM reichen. Das Zusammenführen übernehme ich.

Es beginnt mit dem kostenlosen Workshop, in dem wir festlegen, was eine Reaktion an Marge wert ist, welche Kanäle dazugehören und für welche Segmente der Plan gelten soll. Danach stecke ich zwei Wochen echte Arbeit auf meine Rechnung hinein, baue die eine Tabelle, schätze das Modell und entwerfe die Holdouts, die du im nächsten Quartal laufen lassen kannst. Du bekommst die Reaktionskurven je Kanal, die Tabelle mit dem zusätzlichen Wert gegen die Behauptungen der Plattformen, die optimale Frequenz je Segment mit den Annahmen gleich daneben und ein Entscheidungspapier auf einer Seite, das sagt, was du ändern solltest, was es wert ist und wie sicher ich mir bin. Kann dein Stack noch keinen zufälligen Holdout unterdrücken, richte ich das auch ein, denn ohne ihn schätzen wir, statt zu messen.

Deine Rohdaten bleiben deine, und die Regeln für Code und Modelle stehen in den Bedingungen für Analytics und Data Science. Die Honorare stehen auf der Preisseite. Die Modellierung gehört zu Data Science, die Umsetzung über Mail, Webinare und bezahlte Kanäle zu Performance Marketing. Eine verantwortliche Person für beides heißt, dass sich Modell und Kampagnen nicht gegenseitig die Schuld zuschieben können.

Fragen für deine nächste Quartalsbesprechung

• Wenn wir die Testzugänge addieren, die jede Plattform beansprucht, ist die Summe größer als die Testzugänge, die wir tatsächlich hatten?
• Was ist für jeden Kanal der Grenzwert eines weiteren Kontakts bei der Frequenz, die wir jetzt fahren, nicht der durchschnittliche Wert des Kanals?
• Was sind die vollen Kosten einer weiteren Mail, einschließlich des erwarteten Schadens durch Abmeldungen, und wer hat sie gemessen?
• Welche Kanäle haben in diesem Quartal einen randomisierten Holdout, wie groß ist er und welches Intervall liefert er?
• Wie unterscheidet sich die optimale Frequenz je Segment, und schicken wir allen dasselbe?
• Wo werden Mail und bezahlte Medien gemeinsam geplant, und wo in getrennten Werkzeugen von getrennten Leuten?
• Welcher Anteil der Conversions in diesem Quartal wäre ganz ohne Marketing passiert, und wer feiert sich dafür?

Die Serie ist von Mike Grigsbys Marketing Analytics inspiriert.⁹ Die Erklärungen, Beispiele und Zahlen hier sind meine eigenen.

Footnotes

1. Google, Informationen zu View Through Conversions, Google Ads Hilfe, https://support.google.com/google-ads/answer/6270625

2. Google, Informationen zu Attributionsmodellen, Google Ads Hilfe, https://support.google.com/google-ads/answer/6259715

3. Brett R. Gordon, Florian Zettelmeyer, Neha Bhargava und Dan Chapsky, A Comparison of Approaches to Advertising Measurement: Evidence from Big Field Experiments at Facebook, Arbeitspapier der Kellogg School of Management, April 2018, https://www.kellogg.northwestern.edu/faculty/gordon_b/files/fb_comparison.pdf

4. Entwicklerinnen und Entwickler von statsmodels, LogitResults.get_margeff, Dokumentation von statsmodels, https://www.statsmodels.org/stable/generated/statsmodels.discrete.discrete_model.LogitResults.get_margeff.html

5. Entwicklerinnen und Entwickler von statsmodels, RegressionResults.get_robustcov_results (HC1 und clusterrobuste Kovarianz), Dokumentation von statsmodels, https://www.statsmodels.org/stable/generated/statsmodels.regression.linear_model.RegressionResults.get_robustcov_results.html

6. Stat Trek, Difference between proportions, https://stattrek.com/estimation/difference-in-proportions

7. Jon Vaver und Jim Koehler, Measuring Ad Effectiveness Using Geo Experiments, Google Inc., 2011, https://research.google/pubs/measuring-ad-effectiveness-using-geo-experiments/

8. Garrett A. Johnson, Randall A. Lewis und Elmar I. Nubbemeyer, Ghost Ads: Improving the Economics of Measuring Ad Effectiveness, Arbeitspapier, Februar 2016, https://conference.nber.org/conf_papers/f84173.pdf

9. Mike Grigsby, Marketing Analytics: A Practical Guide to Improving Consumer Insights Using Data Techniques, Kogan Page, 2022, ISBN 9781398608191, https://www.netgalley.co.uk/catalog/book/267990