Warum ich vom Growth Hacking zu messbarem Wachstum im eCommerce gewechselt bin

Ich habe clevere Tricks gegen Zahlen getauscht, hinter denen ich stehen kann

Eine Zeit lang habe ich Growth Hacking für informationelle Websites gemacht: Blogs, Ratgeber, Contentseiten, deren Aufgabe es ist zu informieren oder zu unterhalten. Mit der Zeit bin ich davon weggegangen, hin zu transaktionalen Websites, also eCommerce Shops und Web Apps, die Abos verkaufen.

Der Grund war das Ziel. Eine informationelle Seite will Traffic und Engagement, und ich konnte nie ehrlich sagen, was ein Seitenaufruf eigentlich wert war. Ein Shop will Verkäufe, eine Abo App will Abonnenten, die bleiben. Diese Ziele lassen sich zählen, mit einem Preis versehen und testen. Durch meine Arbeit als Data Scientist habe ich Daten als das verstehen gelernt, was das Wachstum eines transaktionalen Geschäfts beherrschbar macht: Ich entscheide nach dem, was Kundinnen und Kunden tatsächlich tun, statt nach dem, was ich vermute, dass sie tun werden.

Dieser Artikel ist die ehrliche Fassung dieses Wechsels. Zuerst, was Growth Hacking eigentlich sein sollte, denn das verbreitete Bild wird ihm nicht ganz gerecht. Dann die vier Dinge, die sich ändern, wenn Wachstumsarbeit von Taktiken zu Messung wechselt: Marge statt Umsatz, Inkrementalität statt Attribution, Kohorten statt Summen und Experimente mit Regeln statt Experimente mit Hoffnung. Zu jedem gibt es ein durchgerechnetes Beispiel und Links zu den längeren Artikeln, die tiefer gehen.

Alle Beispiele drehen sich um ein erfundenes Unternehmen. Fleetkaffee ist eine Onlinerösterei in Hamburg, geführt von einem ebenso erfundenen Inhaber namens Jonas. Sie verkauft Bohnen, Mühlen und ein monatliches Abo unter fleetkaffee.example. Jede Zahl ist ausgedacht, damit ich jeden Schritt zeigen kann. Niemand davon ist echt.

Growth Hacking begann als Messung, erst der Hype machte Tricks daraus

Der Begriff stammt von Sean Ellis. Im Juli 2010 schrieb er einen Blogbeitrag mit dem Titel "Find a Growth Hacker for Your Startup" und definierte die Rolle in einem Satz, sinngemäß übersetzt: "Ein Growth Hacker ist ein Mensch, dessen Nordstern das Wachstum ist." Und weiter: "Alles, was er tut, wird daran gemessen, was es für skalierbares Wachstum bewirken kann."¹

Zwei Jahre später machte Andrew Chen den Begriff mit seinem Essay "Growth Hacker is the new VP Marketing" berühmt. Sein zentrales Beispiel war Airbnb, das Gastgebern erlaubte, ihre Inserate auf Craigslist zu veröffentlichen. Die Integration war ohne jede öffentliche Craigslist Schnittstelle gebaut und wurde mit eindeutigen Links gemessen.² Die Pointe der Geschichte war Technik plus Messung, kein Slogan.

2017 schrieben Ellis und Morgan Brown die Methode im Buch Hacking Growth auf. Der Verlag beschreibt sie als bereichsübergreifende Teams, die laufend testen und auf Basis der Ergebnisse nachbessern.³

Die ursprüngliche Idee lag also nah an dem, was ich heute mache. Die eine Zahl wählen, auf die es ankommt, Ideen an ihr testen, behalten, was sie bewegt. Was sich im Netz verbreitet hat, war etwas anderes: Listen von Taktiken, aus denen die Messung herausgelöst wurde, die sie erst wirksam gemacht hat. Ich bin nicht in der Position, darauf herabzuschauen. Auf genau dieser Website steht ein Artikel namens 53 Growth Hacks, die du heute Nachmittag umsetzen kannst. Die Taktiken darin sind in Ordnung. Eine Taktik ohne eine Zahl, an der man sie misst, ist aber nur eine Vermutung mit schönem Namen.

Wer die längere Geschichte der Rolle lesen will und wie sie verwässert wurde, findet sie in meinem Artikel was ein Growth Hacker ist.

Beispiel: eine Taktik, zweimal bewertet

Jonas liest, dass ein Pop up mit 10 % Rabatt auf die erste Bestellung ein bewährter Growth Hack ist. Er schaltet es ein.

Nach Taktik bewertet ist es ein Treffer. Die Anmeldungen zum Newsletter steigen von 40 auf 260 pro Woche. Das sind 220 Anmeldungen mehr, ein Plus von 550 %, denn $\frac{260 - 40}{40} \times 100 = 550$.

Nach Messung bewertet lautet die Frage anders: Hat das Geschäft mehr Geld verdient? Dafür braucht es drei Zahlen, die der Anmeldezähler nicht zeigt. Wie viele der neuen Anmeldungen ohnehin gekauft hätten, zum vollen Preis. Was die 10 % auf diese Bestellungen kosten. Und ob die rabattierten Kunden wiederkommen. Der Rest dieses Artikels zeigt, wie man jede dieser drei Fragen beantwortet.

Ich habe informationelle Seiten verlassen, weil ihr Ziel beim Klick endete

Das sind die Probleme, auf die ich bei Wachstumsarbeit für informationelle Websites immer wieder gestoßen bin, so wie ich sie in der ersten Fassung dieses Artikels beschrieben habe.

Die Ziele waren unklar. Erfolg hieß Traffic und Engagement, und das zerfiel in Aufrufe, Klicks und Verweildauer, von denen keines verlässlich mit einem Geschäftswert verbunden war. Am Ende stand kein Kauf und kein Abo, nur Engagement, und das ist zu vage, um danach zu entscheiden.

Das Verhalten war schwer vorherzusagen. Ich konnte sehen, dass jemand einen Artikel darüber las, wie man einen Onlineshop startet, aber nicht warum, und nicht, ob diese Person danach je irgendwo etwas kaufte. Das Ergebnis passierte an einem Ort, den ich nicht sehen konnte.

Und die Rückmeldung war schwach. Du kannst neue Überschriften, neue Formate und neue Social Kampagnen ausprobieren, aber wenn du keine davon mit einem Ergebnis verknüpfen kannst, das einen Preis hat, weißt du nicht, welche du ausbauen sollst.

Eine transaktionale Seite löst das erste Problem schon durch ihre Bauart. Jeder Besuch endet entweder in einer Bestellung oder nicht, und jede Bestellung hat einen Wert. Sobald sich das Ergebnis zählen lässt, kann man eine Rate berechnen, und eine Rate lässt sich vergleichen, testen und in Euro bewerten.

$$\text{conversion rate} = \frac{\text{orders}}{\text{visits}}$$

Dabei ist $\text{orders}$ die Zahl der abgeschlossenen Käufe in einem Zeitraum, $\text{visits}$ die Zahl der Sitzungen auf der Seite im selben Zeitraum, und die $\text{conversion rate}$ ist der Anteil der Besuche, die in einer Bestellung enden. Raten und ihre Nenner erkläre ich in Grundlagen: Verhältnisse und Raten.

Beispiel: derselbe Traffic, zwei Arten von Seite

Stell dir zwei Seiten in Hamburg vor, jede mit 50.000 Besuchen im November.

Die erste ist ein Kaffeeblog. Sie meldet 50.000 Besuche und durchschnittlich drei Minuten auf der Seite. Was waren diese Besuche wert? Es gibt keine Zahl, mit der man multiplizieren könnte. Jede Antwort ist eine Geschichte.

Die zweite ist Fleetkaffee. Von ihren 50.000 Besuchen endeten 1.000 in einer Bestellung:

$$\text{conversion rate} = \frac{1.000}{50.000} = 0{,}02 = 2\,\%$$

Die Bestellungen lagen im Schnitt bei 32 €, also betrug der Novemberumsatz $1.000 \times 32 = 32.000$ Euro. Jetzt lässt sich jede Änderung, die Jonas macht, in Euro bewerten. Genau das ist der ganze Grund für meinen Wechsel. Nicht, dass eine Art von Seite besser wäre, sondern dass eine Art von Seite mich beweisen lässt, was meine Arbeit bewirkt hat.

Umsatz ist die falsche Anzeigetafel, Marge ist die richtige

Das Erste, was ich auf transaktionalen Seiten gemessen habe, war der Return on Ad Spend (ROAS): Umsatz geteilt durch Werbeausgaben. In der ursprünglichen Fassung dieses Artikels habe ich sogar ein Python Skript gezeigt, das Anzeigendaten mit Verkaufsdaten zusammenführte, für jede Kampagne ROAS, Kosten pro Akquisition und Conversion Rate berechnete und jede Kampagne mit einem ROAS unter 3 markierte. Solche Systeme habe ich tatsächlich gebaut, und das Zusammenführen ist bis heute der richtige Anfang.

Die Markierung war die Schwachstelle. Eine feste ROAS Schwelle behandelt einen Euro Umsatz mit einer Mühle mit niedriger Marge genauso wie einen Euro Umsatz mit Kaffeebohnen mit hoher Marge. Das ist nicht derselbe Euro. Was ein Geschäft behält, ist die Marge, also ist die ehrliche Anzeigetafel der Deckungsbeitrag: verdiente Marge minus Werbekosten.

$$C = R \times m - S$$

Dabei ist $C$ der Deckungsbeitrag einer Kampagne in Euro, $R$ der Umsatz, den sie gebracht hat, $m$ die Margenquote (der Anteil jedes Umsatzeuros, der nach Wareneinsatz, Verpackung, Zahlungsgebühren und einer Rücklage für Retouren übrig bleibt) und $S$ die Werbeausgabe. Es ist eine Rate mal eine Summe, wie in Grundlagen: Verhältnisse und Raten. Setzt man $C = 0$, ergibt sich der Break even ROAS:

$$\text{ROAS}_{\text{break even}} = \frac{1}{m}$$

Dabei ist $\text{ROAS}_{\text{break even}}$ der Umsatz pro Euro Werbeausgabe, bei dem sich die Kampagne genau selbst trägt, und $m$ dieselbe Margenquote wie oben. Beides beruht auf Grundlagen: Verhältnisse und Raten, und die Gewohnheit, den nächsten Euro statt des durchschnittlichen zu bewerten, steht in Grundlagen: Grenzwert und Durchschnitt.

Beispiel: die Kampagne, die besser aussah und Geld verlor

Jonas fährt im Oktober zwei Google Shopping Kampagnen mit je 2.000 € Budget. Für dieses Beispiel nehmen wir eine Margenquote von 15 % auf Mühlen an (vom Lieferanten zugekauft) und 55 % auf Bohnen (selbst geröstet). Diese Margen sind eine Annahme des Beispiels, typisch für den Abstand zwischen weiterverkaufter Hardware und einem eigenen Produkt.

Die Mühlenkampagne bringt 10.000 € Umsatz. Ihr ROAS ist $\frac{10.000}{2.000} = 5{,}0$ und ihr Deckungsbeitrag $C = 10.000 \times 0{,}15 - 2.000 = 1.500 - 2.000 = -500$ Euro.

Die Bohnenkampagne bringt 7.000 € Umsatz. Ihr ROAS ist $\frac{7.000}{2.000} = 3{,}5$ und ihr Deckungsbeitrag $C = 7.000 \times 0{,}55 - 2.000 = 3.850 - 2.000 = 1.850$ Euro.

Die Break even Linien erzählen dieselbe Geschichte schneller. Mühlen brauchen $\frac{1}{0{,}15} = 6{,}67$, Bohnen nur $\frac{1}{0{,}55} = 1{,}82$. Die Mühlenkampagne mit dem besser aussehenden ROAS von 5,0 liegt unter ihrer Linie und verliert 500 €. Die Bohnenkampagne mit 3,5 liegt weit über ihrer Linie und verdient 1.850 €.

Mein altes Skript mit seiner einen Schwelle von 3 hätte beide durchgewinkt. Jonas hätte genau die Kampagne weiter hochgefahren, die Geld verliert. Die Korrektur ist klein: die Marge pro Produkt in die Daten aufnehmen und jedes Produkt gegen seine eigene Break even Linie prüfen. Werbeplattformen können direkt auf Marge bieten, wenn du sie als Conversion Wert meldest. Das behandle ich in Auto Bidding auf Basis eigener Daten und, für Performance Max, in Black Box Kampagnen.

Zugeordnet heißt nicht verursacht, also miss die Inkrementalität

Der Umsatz in diesem Beispiel stammte aus dem Bericht der Werbeplattform. Dieser Bericht zählt die Bestellungen von Leuten, die auf eine Anzeige geklickt haben. Er sagt dir nicht, wie viele dieser Leute ohnehin gekauft hätten.

Diese Lücke hat einen Namen: Inkrementalität. Eine inkrementelle Bestellung ist eine, die wegen der Anzeige passiert ist und ohne sie nicht passiert wäre. Der einzige saubere Weg, sie zu messen, ist ein Holdout: Die Anzeigen bekommt eine zufällig gewählte Gruppe zu sehen, einer anderen werden sie vorenthalten, und dann vergleicht man. Googles eigene Studien zur Conversion Steigerung funktionieren genau so, mit einer Kontrollgruppe aus Personen, die die Anzeigen nicht sehen, und sie weisen die zusätzlichen Conversions aus, die die Kampagnen erzielt haben.⁴

Die Lücke kann gewaltig sein. In einer Reihe großer Feldexperimente bei eBay fanden Tom Blake, Chris Nosko und Steven Tadelis, dass die Erträge aus bezahlter Suche nur einen Bruchteil dessen ausmachten, was die üblichen, nicht randomisierten Schätzungen nahelegten, und dass Anzeigen auf eBays eigene Markenbegriffe kurzfristig keinen messbaren Nutzen zeigten.⁵ Wer nach einer Marke mit Namen sucht, wäre meistens sowieso gekommen.

$$\Delta = c_T - c_C \times \frac{n_T}{n_C}$$

Dabei ist $\Delta$ die Zahl der inkrementellen Bestellungen, $c_T$ die Zahl der Bestellungen aus der Testgruppe (den Leuten, die die Anzeigen sehen konnten), $c_C$ die Zahl der Bestellungen aus der Kontrollgruppe (den Leuten, die sie nicht sehen konnten), und $n_T$ und $n_C$ sind die Größen der beiden Gruppen. Der Bruch skaliert die Kontrollgruppe auf die Größe der Testgruppe, damit die beiden Zahlen vergleichbar werden. Ob der Unterschied echt ist oder Rauschen, klärt ein Test für zwei Anteile, erklärt in Grundlagen: Hypothesentests, und den Bereich, in dem er plausibel liegt, liefert ein Konfidenzintervall.

Beispiel: die Markenkampagne von Jonas

Die Markenkampagne von Jonas bietet auf "fleetkaffee". Über vier Wochen ordnet ihr die Plattform 450 Bestellungen zu. Bei 32 € pro Bestellung sind das 14.400 € Umsatz für 1.500 € Werbeausgabe, ein ROAS von 9,6. Sie sieht aus wie die beste Kampagne im ganzen Konto.

Jonas macht einen Holdout. Er teilt 20.000 Personen zufällig in zwei Gruppen zu je 10.000. Die Testgruppe kann die Markenanzeigen sehen, die Kontrollgruppe nicht. In denselben vier Wochen:

• die Testgruppe gibt 520 Bestellungen auf, eine Conversion Rate von 5,2 %
• die Kontrollgruppe gibt 480 Bestellungen auf, eine Conversion Rate von 4,8 %

Schritt eins, die inkrementellen Bestellungen. Die Gruppen sind gleich groß, also ist der Bruch 1:

$$\Delta = 520 - 480 \times \frac{10.000}{10.000} = 520 - 480 = 40$$

Schritt zwei, sind 40 mehr als Rauschen? Die gepoolte Conversion Rate ist $\frac{520 + 480}{20.000} = 0{,}05$. Der Standardfehler der Differenz ist

$$SE = \sqrt{0{,}05 \times 0{,}95 \times \left(\frac{1}{10.000} + \frac{1}{10.000}\right)} = \sqrt{0{,}0475 \times 0{,}0002} = 0{,}00308$$

und die Teststatistik ist $z = \frac{0{,}052 - 0{,}048}{0{,}00308} = 1{,}30$. Das liegt unter 1,96, also kann der Test die 40 Bestellungen auf dem üblichen Niveau von 5 % nicht von null unterscheiden.

Schritt drei, der plausible Bereich. Das 95 % Intervall für die Differenz ist $0{,}004 \pm 1{,}96 \times 0{,}00308$, also $-0{,}0020$ bis $0{,}0100$. Auf 10.000 Personen gerechnet liegt das irgendwo zwischen 20 Bestellungen weniger und 100 mehr.

Schritt vier, die Euro. Nimm den mittleren Schätzwert von 40 inkrementellen Bestellungen. Sie sind $40 \times 32 = 1.280$ Euro Umsatz wert, und bei 55 % Marge auf Bohnen $1.280 \times 0{,}55 = 704$ Euro Marge, gegen 1.500 € Werbeausgabe. Die Kampagne verliert rund 796 €. Selbst das großzügigste Ende des Intervalls, 100 Bestellungen, ergibt $100 \times 32 \times 0{,}55 = 1.760$ Euro Marge, kaum über der Ausgabe. Und kein Wert im plausiblen Bereich kommt auch nur in die Nähe der 450 Bestellungen, die der Bericht behauptet hat.

Die senkrechte Achse zeigt die Zahl der Bestellungen im vierwöchigen Test. Der erste Balken ist, was die Werbeplattform der Kampagne zuschreibt, der zweite die inkrementellen Bestellungen, die der Holdout gemessen hat, der dritte das Maximum, das der Test bei 95 % Konfidenz zulässt. Die Erkenntnis: Das meiste, was der Bericht der Markensuche gutschreibt, wäre auch ohne sie passiert. Wertlos ist die Kampagne damit nicht unbedingt (sie kann den Markennamen vor Mitbewerbern schützen, die darauf bieten), aber das ist eine eigene Frage mit eigenem Preis.

Die ausführliche Behandlung, auch dazu, was du tun kannst, wenn kein sauberer Holdout möglich ist, steht in kausale Inferenz im Marketing. Warum sich Plattformzahlen, Analytics und die Shopdatenbank gegenseitig widersprechen, zeige ich in Attribution über Sprachgrenzen hinweg.

Summen verdecken den Rückgang, also lies Wachstum in Kohorten

Die monatliche Bestellzahl eines Shops mischt neue Kunden mit wiederkehrenden. Sie kann steigen, während das Geschäft schlechter wird, wenn ein Schwung neuer Kunden verdeckt, dass weniger von ihnen wiederkommen.

Das Gegenmittel ist eine Kohorte. Googles eigene Definition ist schlicht: "Eine Kohorte ist eine Gruppe von Nutzern mit gemeinsamen Eigenschaften", meistens dem Datum, an dem sie zum ersten Mal kamen oder zum ersten Mal kauften.⁶ Du verfolgst jede Gruppe für sich und fragst, welcher Anteil einen Monat, zwei Monate, sechs Monate später noch kauft.

Der Wert einer Kohorte ist der Customer Lifetime Value ihrer Kunden, aufgebaut aus Marge und Bindung:

$$CLV = M \times \frac{r}{1 + d - r}$$

Dabei ist $CLV$ der Customer Lifetime Value in Euro, $M$ die Marge, die ein Kunde dem Geschäft pro Jahr einbringt, $r$ die Bindungsrate (der Anteil der Kunden, die ein Jahr später noch kaufen) und $d$ der Diskontsatz, der späteres Geld etwas niedriger bewertet als Geld heute. Die Formel baue ich von Grund auf in Grundlagen: Customer Lifetime Value auf.

Beispiel: die Rabattkohorte, die Bestellungen steigerte und Wert vernichtete

Im Januar gewinnt Fleetkaffee 400 neue Kunden, vor allem über die organische Suche. Im März läuft eine Aktion mit 30 % Rabatt auf die erste Bestellung, und es kommen 600 dazu. Die Bestellungen im Frühjahr liegen insgesamt höher, und Jonas ist zufrieden.

Die Kohortensicht, als Anteil jeder Kohorte, der in jedem Monat nach der ersten Bestellung noch kauft:

Die waagerechte Achse zeigt die Monate seit der ersten Bestellung jedes Kunden, die senkrechte den Anteil der Kohorte, der noch kauft. Beide Linien beginnen bei 100 %, weil alle einmal gekauft haben. Die Erkenntnis steckt im Abstand: Die Märzkunden kamen wegen des Rabatts und sind größtenteils nicht geblieben.

Jetzt die Euro. Nimm eine Marge von 60 € pro aktivem Kunden und Jahr und einen Diskontsatz von 10 % an. Angenommen, die Kohortendaten ergeben, über ein volles Jahr verfolgt, eine jährliche Bindung von 60 % für Januar und 40 % für März.

Für Januar: $CLV = 60 \times \frac{0{,}6}{1 + 0{,}1 - 0{,}6} = 60 \times \frac{0{,}6}{0{,}5} = 72$ Euro.

Für März: $CLV = 60 \times \frac{0{,}4}{1 + 0{,}1 - 0{,}4} = 60 \times \frac{0{,}4}{0{,}7} = 34{,}29$ Euro.

Wenn Fleetkaffee ein neuer Kunde in beiden Monaten rund 40 € kostet, holen die Januarkunden das mit 32 € Überschuss wieder herein, die Märzkunden nie. Mehr Kunden, weniger Wert. Die Monatssumme sagte das Gegenteil.

Zwei Fallen solltest du hier meiden. Setz für $M$ immer die Marge ein, nie den Umsatz, sonst ist jeder Lifetime Value um den Wareneinsatz aufgebläht. Und beurteile eine Kohorte nie, bevor sie Zeit hatte, ihre Form zu zeigen. Wie du die Kohortentabelle aus deinen eigenen Daten baust, steht in Growth Marketing durch Retention und Referral.

Ein Experiment ist eine Entscheidung, die du aufschreibst, bevor du hinschaust

Testen gehörte schon immer zum Growth Hacking. Was sich mit Messung ändert, ist die Disziplin rund um den Test.

Zuerst die Tatsache, die bescheiden macht. Ein Team bei Microsoft, das Tausende kontrollierter Experimente durchgeführt hat, berichtete, übersetzt, dass "nur ein Drittel der bei Microsoft getesteten Ideen die Metrik(en) verbesserte, die sie verbessern sollten", und dass für weniger gut verstandene Bereiche "die Statistik noch viel schlechter ist".⁷ Die meisten Ideen, auch gute von klugen Leuten, bewirken nichts Messbares. Ein Test zeigt dir, in welchem Drittel deine Idee liegt, ohne dass du für die anderen beiden bezahlst.

Disziplin heißt, vier Dinge vor dem Start festzulegen: die eine Metrik (in Marge, nicht in Klicks), den kleinsten Effekt, der sich lohnt, die Stichprobengröße, die ihn erkennen kann, und die Regel fürs Beenden. Die Stichprobengröße für den Vergleich zweier Conversion Rates ist:

$$n = \frac{(z_{\alpha/2} + z_{\beta})^2 \left[p_1(1-p_1) + p_2(1-p_2)\right]}{(p_1 - p_2)^2}$$

Dabei ist $n$ die Zahl der Besucher, die jede Version braucht, $z_{\alpha/2}$ ist 1,96 für ein Signifikanzniveau von 5 % (die Wahrscheinlichkeit, einen Effekt zu sehen, der nicht da ist), $z_{\beta}$ ist 0,84 für eine Teststärke von 80 % (die Wahrscheinlichkeit, einen Effekt zu erwischen, der da ist), $p_1$ ist die aktuelle Conversion Rate und $p_2$ die Rate, die du erreichen willst. Die Formel und ihre Teile erkläre ich in Grundlagen: Stichprobengröße.

Der Kreislauf läuft von oben nach unten. Das Entscheidungsfeld ist die einzige Stelle, an der das Ergebnis gelesen wird, und erst dann, wenn die geplante Stichprobe vollständig ist. Beide Zweige enden am selben Punkt, einer schriftlichen Notiz, denn ein gescheiterter Test, der festgehalten ist, ist mehr wert als ein gewonnener, an den sich niemand erinnert.

Beispiel: wie lange der Produktseitentest von Jonas laufen muss

Jonas will eine neue Produktseite testen. Fleetkaffee macht aus 2,5 % der Besuche auf den Produktseiten eine Bestellung, und eine Steigerung auf 2,8 % wäre es wert. Also ist $p_1 = 0{,}025$ und $p_2 = 0{,}028$.

Schritt eins, die Klammer:

$$p_1(1 - p_1) + p_2(1 - p_2) = 0{,}025 \times 0{,}975 + 0{,}028 \times 0{,}972 = 0{,}024375 + 0{,}027216 = 0{,}051591$$

Schritt zwei, der Zähler: $(1{,}96 + 0{,}84)^2 = 2{,}80^2 = 7{,}84$, und $7{,}84 \times 0{,}051591 = 0{,}40447$.

Schritt drei, der Nenner: $(0{,}028 - 0{,}025)^2 = 0{,}003^2 = 0{,}000009$.

Schritt vier, teilen: $n = \frac{0{,}40447}{0{,}000009} = 44.941$, also rund 45.000 Besucher pro Version.

Die Produktseiten haben 12.000 Besuche pro Woche, gleichmäßig aufgeteilt, also 6.000 pro Version. Der Test braucht $\frac{45.000}{6.000} = 7{,}5$ Wochen, aufgerundet acht. Nicht die zwei Wochen, die Jonas eingeplant hatte, und nicht "bis es gut aussieht". Wenn acht Wochen zu lang sind, bleiben zwei ehrliche Möglichkeiten: eine mutigere Änderung testen (ein größerer Effekt braucht weniger Besucher) oder akzeptieren, dass sich diese Frage mit dem Traffic von Fleetkaffee nicht beantworten lässt.

Was schiefgeht, wenn du das Ergebnis jeden Morgen ansiehst und am ersten guten Tag aufhörst, zeige ich mit Zahlen in statistische Signifikanz und Fehlermargen. Warum schon der durchschnittliche Bestellwert, gegen den du testest, in die Irre führen kann, steht in warum Durchschnitte dich anlügen.

Automatisierung zahlt sich aus, sobald die Messung darunter stimmt

Die ursprüngliche Fassung dieses Artikels endete mit Automatisierung, und dieser Teil der Geschichte gilt weiter. Sobald ich die Infrastruktur hatte, um Erfolg zu messen, habe ich angefangen, Kampagnen zu automatisieren. Ich habe Kundendaten aus Rails und Solidus mit Marketingwerkzeugen wie Mailchimp verbunden, um Kampagnen aus dem Verhalten der Kunden heraus auszulösen, etwa bei abgebrochenen Warenkörben, ersten Käufen oder einer Rückkehr nach einer ruhigen Phase. Ich habe mit Python und SQL Transaktionsdaten gezogen, Kunden nach Lifetime Value segmentiert und die Kampagnen gefunden, die konvertierten. Und ich habe maschinelles Lernen eingesetzt, um Google Shopping Gebote nach Verkaufsleistung, Margen und Wettbewerb anzupassen.

Was ich heute nicht mehr zeigen würde, ist der Code, den ich damals dazu veröffentlicht habe. Die Gebotsskizze trainierte ein Modell, das Verkäufe vorhersagt, und teilte die Vorhersage dann durch 100, um ein Gebot zu bekommen. Diese Zahl hat als Gebot keine Bedeutung. Ein solides Gebot beginnt bei dem, was ein Klick dem Geschäft wert ist, und das ist eine kurze Rechnung.

$$V = p \times A \times m$$

Dabei ist $V$ der Wert eines Klicks in Euro, $p$ die Conversion Rate von Klicks zu Bestellungen, $A$ der durchschnittliche Bestellwert und $m$ die Margenquote. Es ist ein Erwartungswert, erklärt in Grundlagen: Erwartungswert.

Beispiel: das Maximum, das Jonas für einen Klick auf Bohnen zahlen sollte

Klicks auf die Bohnenanzeigen von Fleetkaffee konvertieren mit 2,5 %, die durchschnittliche Bohnenbestellung liegt bei 32 € und die Marge bei 55 %, also $V = 0{,}025 \times 32 \times 0{,}55 = 0{,}80 \times 0{,}55 = 0{,}44$ Euro.

Jeder Klick ist rund 44 Cent Marge wert. Wer mehr zahlt, verliert im Schnitt Geld, noch bevor überhaupt Gewinn entsteht. Die Aufgabe eines Modells ist, $p$ für jedes Produkt, jede Zielgruppe und jede Stunde besser zu schätzen, nicht ein Gebot aus dem Nichts zu erfinden. Und die Schätzung ist nur so gut wie die Inkrementalität dahinter: Wenn viele dieser Klicks ohnehin gekauft hätten, ist der wahre Wert pro Klick noch niedriger.

Wie eine Klickauktion deinen Preis festlegt, steht in Auktionstheorie und Bidding Strategie. Wie die verknüpften Kundendaten darunter aufgebaut sind, zeige ich in Data Warehousing für Marketing Automation, und wie du Kampagnen schon vor dem Kauf aus dem Verhalten heraus auslöst, in Predictive Automation mit Verhaltenssegmenten.

Zwei Behauptungen aus dem Original habe ich außerdem gestrichen. Dort stand, die Automatisierung passe alles "in Echtzeit" und "ohne menschliches Eingreifen" an. Beides ist kein Ziel. Ein Mensch entscheidet weiterhin, welche Metrik zählt, prüft den Test und steht für das Ergebnis gerade. Und dort stand, dieser Ansatz hänge klassische Marketingteams ab, ein Vergleich, den ich mit keiner Zahl belegen kann, also fliegt er raus.

Taktiken zählen weiter, aber die Messung entscheidet, welche bleiben

Nichts hier sagt, dass Taktiken schlecht sind. Ein Pop up, ein Empfehlungsangebot, eine clevere Integration wie die von Airbnb: Alles davon kann funktionieren. Was sich für mich geändert hat, ist die Reihenfolge. Die Zahl kommt zuerst, die Taktik danach, und der Test entscheidet.

Zurück zum Pop up von Jonas vom Anfang. Mit dem, was dieser Artikel behandelt, kann er es jetzt richtig bewerten. Er prüft die Marge auf rabattierten Bestellungen, nicht den Umsatz. Er hält das Pop up für einen zufälligen Teil der Besucher zurück, um zu sehen, wie viele der neuen Anmeldungen inkrementell waren. Er verfolgt die Anmeldungen als Kohorte, um zu sehen, ob sie zum vollen Preis wiederkommen. Und er legt vorher fest, wie viele Besucher der Test braucht, bevor er ihn auswertet. Übersteht es alle vier Prüfungen, bleibt es. Das ist immer noch Growth Hacking, so wie Sean Ellis es ursprünglich gemeint hat. Nur mit Beleg für jede Zahl.

Wenn du bei null anfängst, ist was Data Science tatsächlich für Wachstum liefert der größere Rahmen für all das: Frage, Daten, Modell, Entscheidung und eine Prüfung, ob die Entscheidung besser geworden ist.

Footnotes

1. Sean Ellis, Find a Growth Hacker for Your Startup, Startup Marketing Blog, 26. Juli 2010, https://www.startup-marketing.com/where-are-all-the-growth-hackers/

2. Andrew Chen, Growth Hacker is the new VP Marketing, andrewchen.com, 2012, https://andrewchen.com/how-to-be-a-growth-hacker-an-airbnbcraigslist-case-study/

3. Sean Ellis und Morgan Brown, Hacking Growth, Virgin Digital (Penguin Random House), 2017, Verlagsbeschreibung, https://www.penguin.com.au/books/hacking-growth-9780753545386

4. Google, Conversion Steigerung, Google Ads Hilfe, abgerufen im November 2026, https://support.google.com/google-ads/answer/12003020?hl=de

5. Tom Blake, Chris Nosko und Steven Tadelis, Consumer Heterogeneity and Paid Search Effectiveness: A Large Scale Field Experiment, NBER Working Paper 20171, 2014, erschienen in Econometrica, Band 83, Heft 1, 2015, https://www.nber.org/papers/w20171

6. Google, [GA4] Explorative Kohortenanalyse, Google Analytics Hilfe, abgerufen im November 2026, https://support.google.com/analytics/answer/9670133?hl=de

7. Ron Kohavi, Alex Deng, Brian Frasca, Roger Longbotham, Toby Walker und Ya Xu, Trustworthy Online Controlled Experiments: Five Puzzling Outcomes Explained, KDD 2012, Microsoft, 2012, https://www.exp-platform.com/Documents/puzzlingOutcomesInControlledExperiments.pdf