Wie viele Daten brauchst du wirklich? Performance Kampagnen, A/B Tests und Forecasts, mit Zahlen

Das Gespräch, das niemand führt, bevor der Vertrag unterschrieben ist

Alle versprechen Wachstum. Im Pitch Deck zeigt eine Kurve nach rechts oben, im Angebot steht "datengetrieben", und das Kickoff Meeting ist voller Energie. Dann kommt Woche zwei, und jemand stellt die einzige Frage, die zählt: Wie viele Conversions hatten wir letzten Monat tatsächlich? Die Antwort lautet sieben. Sieben Conversions, ein paar hundert Besucher, kein sauberes Tracking und ein Budget, das für "eine Testkampagne" bemessen war und nicht für die Zahl an Beobachtungen, die eine Entscheidung braucht. Ab diesem Moment läuft das Projekt still auf Meinung, während alle weiter "Daten" sagen.

Ich habe in diesem Meeting öfter gesessen, als mir lieb ist, auf beiden Seiten des Tisches, in 15+ Jahren Growth, Performance Marketing und Data Science. Die Kluft hat nie etwas mit Einsatz oder Talent zu tun. Sie entsteht, weil niemand vorab die Rechnung gemacht hat: wie viele Daten eine bestimmte Entscheidung braucht, was diese Daten auf jeder Plattform kosten, wie lange sie bei einem bestimmten Tagesbudget brauchen, bis sie da sind, und was du in der Zwischenzeit ehrlich tun kannst. Dieser Artikel ist genau diese Rechnung, vollständig, mit den Formeln, den Tabellen und den unbequemen Zahlen. Es ist das Gespräch, das ich mit jedem Kunden führen will, bevor irgendetwas unterschrieben wird, damit wir alle wissen, was zu erwarten ist und was sich machen lässt.

Er ist absichtlich lang. Überflieg die Tabellen, wenn du es eilig hast, aber lies den Abschnitt über Erfahrung, bevor du entscheidest, dass deine Zahlen zu klein sind, um sich damit zu beschäftigen, denn genau dort passiert der grösste Teil meiner Arbeit mit kleineren Unternehmen. Und wenn du die Kurzfassung für dein eigenes Unternehmen willst: Der interaktive Planer auf meiner Data Science Seite nimmt deine Besucher, Kunden, Historie und dein Budget und sagt dir, in welcher der Stufen weiter unten du gerade bist.

Die eine Formel, an der alles hängt

Fast jede Frage nach "wie viele Daten brauche ich" im Marketing ist eine Frage nach der Schätzung eines Anteils: einer Conversion Rate, einer Click Through Rate, einer Churn Rate, einer Abschlussquote. Ein Anteil, der aus $n$ Beobachtungen geschätzt wird, hat eine Fehlermarge, und bei 95 % Konfidenz beträgt diese Marge

\text{MoE} = z_{0.975}\sqrt{\frac{p(1-p)}{n}} \approx 1.96\sqrt{\frac{p(1-p)}{n}}

Dabei ist $p$ der Anteil, den du schätzt, und $n$ die Zahl der Besucher, Klicks oder Impressionen, an denen er gemessen wurde. Das Wichtige daran ist die Wurzel. Um die Fehlermarge zu halbieren, brauchst du viermal so viele Daten. Um sie auf ein Zehntel zu drücken, brauchst du hundertmal so viele. Diese eine Tatsache erklärt die meisten Budgets in diesem Artikel.

Die zweite Formel ist die, die einen Test dimensioniert. Wenn du einen Unterschied $\delta$ zwischen zwei Conversion Rates $p_1$ und $p_2$ mit einer Falsch positiv Rate $\alpha$ und einer Teststärke von $1-\beta$ erkennen willst, braucht jeder Arm des Tests ungefähr

n_{\text{per arm}} = \frac{2\,(z_{1-\alpha/2} + z_{1-\beta})^2\,\bar{p}(1-\bar{p})}{\delta^2}, \qquad \bar{p} = \frac{p_1 + p_2}{2}

Mit dem üblichen $\alpha = 0.05$ und einer Teststärke von 80 % ist $z_{1-\alpha/2} = 1.96$ und $z_{1-\beta} = 0.84$ , die Konstante $2(1.96 + 0.84)^2$ liegt also bei etwa 15,7. Alles andere hängt von deiner Ausgangsrate ab und von der kleinsten Verbesserung, die dich interessiert, üblicherweise minimal erkennbarer Effekt oder MDE genannt. Hier ist, was das pro Variante ergibt, für die Ausgangsraten und relativen Verbesserungen, die in der Praxis tatsächlich vorkommen.

Ausgangs Conversion Rate	+10 % erkennen	+20 % erkennen	+30 % erkennen	+50 % erkennen
0,5 %	327.922	85.863	39.886	15.600
1 %	163.096	42.694	19.828	7.751
2 %	80.683	21.110	9.798	3.826
3 %	53.211	13.915	6.455	2.518
5 %	31.235	8.159	3.781	1.472
10 %	14.752	3.842	1.775	687

Lies eine Zeile langsam. Ein Shop, der 2 % der Besucher konvertiert und wissen will, ob ein neuer Checkout mindestens 20 % besser ist (2,4 % statt 2,0), braucht 21.110 Besucher im alten Checkout und 21.110 im neuen. Das sind 42.220 Besucher für eine einzige Antwort. Ein Shop mit 100 Besuchern im Monat bräuchte 35 Jahre. Ein Shop mit 300.000 Besuchern im Monat hat die Antwort nach etwa vier Tagen Traffic, und genau deshalb ist derselbe Test für das eine Unternehmen Routine und für das andere unmöglich. Daran ändert die Qualifikation der Beteiligten nichts. Der Traffic ändert es.

Zwei Dinge noch zur Tabelle, weil die Leute sie in dieselbe Richtung falsch lesen. Erstens: "+20 % erkennen" meint 20 % relativ, nicht 20 Prozentpunkte. Von 2 % auf 2,4 % ist ein Lift von 20 %. Von 2 % auf 22 % wäre ein Lift von 1.000 %, und den hat noch niemand gesehen. Zweitens: Wenn die echte Verbesserung kleiner ist als der MDE, für den du dimensioniert hast, ist der Test nicht "leicht unterpowert". Er ist überwiegend Rauschen, und das grüne Häkchen, das dein Testing Tool nach einer Woche zeigt, ist genau das, worüber ich in Die Statistik, die jeder Marketer wirklich braucht geschrieben habe: ein Konfidenzintervall, das noch immer die Null enthält, verkleidet als Ergebnis.

Ebene eins: Entscheidungen innerhalb einer Performance Kampagne

Performance Kampagnen sind nicht eine Entscheidung. Sie sind ein Stapel von Entscheidungen, jede sitzt auf einer anderen Kennzahl, und jede Kennzahl hat ihre eigene Stichprobe. Von oben im Funnel nach unten:

Ist dieses Creative es wert, gezeigt zu werden? Die Kennzahl ist die Click Through Rate, die Stichprobe sind Impressionen.
Bringt diese Anzeige Leute, die irgendetwas tun? Die Kennzahl ist die Conversion Rate der Landingpage oder die Kosten pro Conversion, die Stichprobe sind Klicks.
Zahlt sich diese Anzeigengruppe oder Zielgruppe aus? Die Kennzahl ist Cost per Acquisition oder Return on Ad Spend, die Stichprobe sind Conversions.
Soll das Budget wandern? Die Kennzahl ist der marginale Ertrag, die Stichprobe sind Conversions über mehrere Budgetstufen hinweg, was noch einmal etwas anderes ist und ins Media Mix Modelling: Adstock, Sättigung und wohin das nächste Budget geht gehört.

Je weiter oben im Funnel, desto reichlicher die Daten, und deshalb kommen Creative Entscheidungen schnell und Budgetentscheidungen langsam. Ich lege auf jede davon Zahlen.

Die Click Through Rate ist ein Anteil, gemessen an Impressionen. Um die CTR einer Anzeige auf plus oder minus 20 % ihres eigenen Werts zu kennen, brauchst du $n = 1.96^2\,p(1-p)/(0.2p)^2$ Impressionen, bei einer CTR von 1 % sind das rund 9.500 Impressionen pro Anzeige, bei 0,5 % etwa 19.100 und bei 2 % etwa 4.700. Auf Meta kosten 9.500 Impressionen bei einem CPM von £8 ungefähr £76. Deshalb kann ich dir innerhalb weniger Tage sagen, welches von fünf Creatives die Leute anklicken, und deshalb ist diese Antwort für sich allein beinahe wertlos: Klicks sind keine Kunden.

Conversions verhalten sich wie Zählungen, und für eine Zählung ist die relative Fehlermarge bei 95 % Konfidenz schlicht

\frac{\text{MoE}}{n} \approx \frac{1.96}{\sqrt{n}}

Das ist die Formel, die ich in Kundenmeetings am häufigsten verwende, weil sie dir einen Rahmen für jede Cost per Acquisition gibt, die du je anschauen wirst:

Conversions hinter der Zahl	Relative Fehlermarge	Was die CPA Zahl tatsächlich bedeutet
10	plus oder minus 62 %	Ein CPA von £30 könnte £11 oder £49 sein. Keine Entscheidung.
25	plus oder minus 39 %	Nur eine Richtung. Reicht, um ein Desaster zu stoppen, nicht, um einen Gewinner zu küren.
50	plus oder minus 28 %	Die Lernschwelle der Plattformen selbst. Behalten oder abschalten, nichts Feineres.
100	plus oder minus 20 %	Eine echte Entscheidung zwischen Optionen, die sich um 30 % oder mehr unterscheiden.
400	plus oder minus 10 %	Feiner Vergleich. Budgetverschiebungen zwischen Anzeigengruppen werden vertretbar.
1.000	plus oder minus 6 %	Optimierung von Geboten und Verteilung. Die meisten kleinen Unternehmen kommen pro Anzeigengruppe nie hierher.

Diese Rahmentabelle ist die ehrliche Antwort auf "welche Anzeige gewinnt". Mit je zehn Conversions sind zwei Anzeigen bei £30 und £40 CPA statistisch dieselbe Anzeige. Mit je hundert sind sie wahrscheinlich verschieden. Mit je vierhundert kannst du Budget mit gutem Gewissen verschieben.

Die Plattformen wissen das, und deshalb gibt es ihre Lernphasen. Zum Zeitpunkt des Schreibens verlangt Meta grob 50 Optimierungsereignisse pro Anzeigengruppe innerhalb von sieben Tagen, bevor sie die Lernphase verlässt, TikTok etwa 50 Conversions im selben Fenster, Googles Smart Bidding wollte historisch rund 30 Conversions in 30 Tagen, bevor sich Target CPA vernünftig verhält, und mehr, bevor Target ROAS es tut, und LinkedIn hat keine formale Lernphase, braucht aber eine Zielgruppe von mindestens ein paar hundert Personen und ein nennenswertes Tagesbudget, bevor sich die Auslieferung stabilisiert. Beachte, dass 50 Conversions pro Woche und Anzeigengruppe für ein kleines Unternehmen eine enorme Zahl ist. Bei einem CPA von £30 sind das £1.500 pro Woche und Anzeigengruppe, also £6.500 im Monat, nur damit sich der Algorithmus auf eine Zielgruppe einpendeln kann. Fahr vier Anzeigengruppen, und die Empfehlung der Plattform selbst ist ein Monatsbudget von £26.000. Die Lernphase ist keine Formalität. Sie ist die Plattform, die dir dasselbe sagt wie die Formeln.

Ebene zwei: welche Ausgaben das auf jeder Plattform bedeutet

Die Frage, die mir am häufigsten gestellt wird, lautet "wie viel muss ich ausgeben". Die ehrliche Struktur der Antwort: Conversions, die die Entscheidung braucht, mal Kosten einer Conversion auf dieser Plattform, in deiner Branche, gegen deinen Wettbewerb. Die erste Zahl kommt aus der Rahmentabelle oben. Die zweite schwankt so stark, dass jede einzelne Zahl eine Lüge wäre, also gebe ich dir Spannen und erkläre dann genau, was ein Unternehmen innerhalb dieser Spannen verschiebt.

Plattform	Typischer CPM	Typischer CPC	Typische Conversion Rate der Landingpage	Typische Kosten pro Conversion
Meta (Facebook und Instagram)	£5 bis £12	£0,40 bis £1,50	1 bis 3 % im Ecommerce	£15 bis £60
TikTok	£3 bis £8	£0,20 bis £1,00	0,5 bis 1,5 %	£20 bis £80
Google Search	entfällt	£0,80 bis £4,00 im Breiten, £8 bis £40 bei Recht, Finanzen, Versicherungen und B2B Software	3 bis 7 %	£20 bis £120, mehrere hundert im umkämpften B2B
Google Shopping und Performance Max	entfällt	£0,30 bis £1,00	1,5 bis 3 %	£15 bis £50
LinkedIn	£25 bis £60	£5 bis £11	2 bis 5 % auf einer Landingpage, 8 bis 13 % auf einem Lead Formular	£60 bis £250 pro Lead
Microsoft Ads	entfällt	20 bis 30 % unter Google Search	Ähnlich wie Google Search	Ähnlich, etwas niedriger

Das sind Spannen für das Vereinigte Königreich und die DACH Region aus Konten, an denen ich gearbeitet habe, und aus veröffentlichten Benchmarks, Stand Ende 2026, und sie sind illustrativ. Deine werden abweichen, und hier ist der Grund, grob in der Reihenfolge, wie stark jeder Faktor die Zahl bewegt:

Branche und Wettbewerb. Cost per Click ist eine Auktion. Wenn Versicherer, Anwaltskanzleien und SaaS Firmen mit Risikokapital auf deine Keywords bieten, kostet ein Klick zehnmal so viel wie bei einem Floristen. Nichts, was du auf deiner Seite tust, ändert die anderen Bieter.
Produkt und Preispunkt. Ein Impulskauf um £25 konvertiert aus einer kalten Zielgruppe mit 3 %. Eine Dienstleistung um £3.000 nicht; sie konvertiert zu einem Gespräch, und das Gespräch konvertiert Wochen später. Die "Conversion", die du in der Plattform zählen kannst, ist ein anderes, früheres Ereignis mit einer anderen Rate.
Geografie und Sprache. Englische Klicks im Vereinigten Königreich kosten mehr als österreichische deutschsprachige Klicks mit derselben Absicht, weil mehr Werbetreibende um sie konkurrieren. Das LinkedIn Inventar in DACH ist kleiner und pro Klick oft teurer als das britische.
Qualität von Creative und Landingpage. Diesen Faktor kontrollierst du, und deshalb zählt Best Practice, bevor Daten zählen. Eine Landingpage, die mit 4 % statt 2 % konvertiert, halbiert jede Kosten pro Conversion Zahl in der Tabelle.
Saison. Die CPMs auf Meta im vierten Quartal liegen regelmässig 30 bis 60 % über dem Frühling. Ein Test, der im März dimensioniert und im November gefahren wird, braucht für dieselbe Zahl an Conversions ein grösseres Budget.
Kontohistorie. Ein neues Werbekonto ohne Conversion Historie zahlt in den ersten Wochen einen Aufschlag, während die Plattform keine Ahnung hat, wem sie deine Anzeigen zeigen soll.

Jetzt multiplizieren. Um 100 Conversions pro Variante zu erreichen, den Punkt, an dem zwei Optionen wirklich vergleichbar sind, geht es um diese Grössenordnung pro Variante:

Plattform	Verwendete Kosten pro Conversion	30 Conversions (Richtung)	100 Conversions (Entscheidung)	400 Conversions (Optimierung)
Meta	£30	£900	£3.000	£12.000
TikTok	£40	£1.200	£4.000	£16.000
Google Search, Konsumenten	£50	£1.500	£5.000	£20.000
Google Search, umkämpftes B2B	£200	£6.000	£20.000	£80.000
LinkedIn, Lead	£150	£4.500	£15.000	£60.000

Pro Variante. Vergleich zwei Zielgruppen auf LinkedIn sauber, und das sind £30.000. Das ist die Zahl, die in fast jedem Wachstumsangebot fehlt, das ich je gelesen habe, und es ist die Zahl, die erklärt, warum so viele Kampagnen genau in dem Moment gestoppt werden, in dem sie gerade eine Antwort geliefert hätten.

Ebene drei: Zeit, und warum ein kleines Tagesbudget eine langsame Uhr ist

Budget und Zeit sind dieselbe Grösse, von zwei Enden betrachtet. Wenn du $B$ pro Tag ausgibst und eine Conversion $C$ kostet, sammelst du $B/C$ Conversions pro Tag, und bis zu den $n$ Conversions, die deine Entscheidung braucht, dauert es

T_{\text{days}} = \frac{n \cdot C}{B}

Bei Kosten von £30 pro Conversion:

Tagesbudget	Tage bis 30 Conversions	Tage bis 100 Conversions	Tage bis 400 Conversions
£10	90	300	1.200
£30	30	100	400
£100	9	30	120
£300	3	10	40

Das Diagramm ist eine Hyperbel, und diese Form ist wichtig. Von £10 auf £30 pro Tag zu gehen spart dir zweihundert Tage. Von £100 auf £300 spart dir zwanzig. Bei einem kleinen Budget kauft jedes zusätzliche Pfund pro Tag viel Kalenderzeit; bei einem grossen kauft es fast keine, und du steckst das Zusätzliche besser in mehr Varianten.

£10 pro Tag auszugeben ist ein völlig vernünftiger Weg, ein Konto warm zu halten und etwas über Creatives zu lernen. Es ist kein Weg, dieses Quartal Conversion Entscheidungen zu treffen, und wer dir bei diesem Budget sagt, die Kampagne "braucht noch zwei Wochen", bittet darum, eine Münze noch ein paarmal zu werfen. Neben der Arithmetik laufen noch drei weitere Uhren:

Wochenzyklen. B2B konvertiert Dienstag bis Donnerstag, Ecommerce für Konsumenten an Sonntagabenden und an Zahltagen. Jede Entscheidung braucht mindestens eine volle Woche, und mir sind zwei lieber, damit jede Variante denselben Mix an Tagen gesehen hat.
Conversion Verzögerung. Wenn die Leute eine Woche nach dem Klick kaufen, ist die letzte Woche jedes Tests immer zu niedrig ausgewiesen. Die Attributionsfenster der Plattformen verstecken das, statt es zu lösen. Addiere die Verzögerung zur Testdauer, sonst schaltest du die Variante ab, die noch am Konvertieren war.
Neustarts der Lernphase. Jede nennenswerte Änderung an Budget, Targeting oder Creative startet die Lernphase auf Meta und TikTok neu. Ein kleines Budget, das alle paar Tage bearbeitet wird, verlässt die Lernphase nie. Bei knappem Budget: einstellen und für das volle Fenster in Ruhe lassen.

Ebene vier: Rahmen für ein knappes Budget, und wie du bei einem Verlierer früh aufhörst zu zahlen

Das ist die Frage, die mir Freude macht, weil die Antwort für ein Unternehmen mit £300 im Monat statt £30.000 wirklich nützlich ist: Gibt es statistisch saubere Regeln, mit denen du eine verlierende Anzeige früh abschaltest und das Geld für die behältst, die funktionieren? Ja, und sie kommen aus drei Ideen.

Die Dreierregel. Wenn du $n$ Klicks und null Conversions gesehen hast, liegt die obere 95 % Grenze der wahren Conversion Rate bei ungefähr $3/n$ . Das ergibt eine saubere Stoppregel. Wenn deine Landingpage eine Conversion Rate von 2 % braucht, damit sich die Anzeige rechnet, und eine Anzeige 150 Klicks ohne Conversion geliefert hat, kannst du mit 95 % Konfidenz sagen, dass ihre wahre Rate unter 2 % liegt. Abschalten. Die Schwellen:

Conversion Rate, die die Anzeige erreichen muss, damit sie sich rechnet	Klicks mit null Conversions, bevor du sie abschalten kannst
0,5 %	600
1 %	300
2 %	150
3 %	100
5 %	60

Bei £1 Cost per Click sind das £60 bis £300, um eine Anzeige mit Konfidenz statt mit einem Bauchgefühl abzuschalten. Vergleich das mit den £3.000, die es braucht, um einen Gewinner zu küren, und du siehst die Asymmetrie: zu beweisen, dass etwas schlecht ist, kostet weit weniger, als zu beweisen, dass etwas das Beste ist. Ein knappes Budget sollte die meiste Zeit damit verbringen, Dinge als schlecht zu beweisen.

Sequentielles Testen. Klassische Tests nehmen an, dass du einmal hinschaust, am Ende. In Wirklichkeit schaut jeder jeden Tag hin, und jeder Blick ist eine weitere Chance für das Rauschen, die Linie zu überschreiten. Einen Monat lang täglich auf einen Test ohne echten Unterschied zu schauen gibt dir etwa 25 bis 30 % Wahrscheinlichkeit für einen falschen "Gewinner" statt 5 %. Sequentielle Methoden beheben das, indem sie die Schwelle früh strenger setzen und sie lockern, während Daten eintreffen. Die einfachste Version, die ich mit Kunden verwende, ist eine Spending Function: Setz das Gesamt $\alpha$ auf 0,05, erlaub dir zum Beispiel vier Blicke, und verwende grob $\alpha = 0.001$ beim ersten Blick, $0.004$ beim zweiten, $0.019$ beim dritten und die verbleibenden $0.043$ beim letzten. Früh aufhören ist weiterhin erlaubt, wenn ein Ergebnis überwältigend ist. Aufhören bei einem Ergebnis, das bloss nett aussieht, nicht.

Bayessche Zuteilung. Für Creative Tests mit kleinen Budgets habe ich aufgehört, feste Aufteilungen zu verwenden, und angefangen, Thompson Sampling einzusetzen. Die Conversion Rate jeder Anzeige ist eine Beta Verteilung, $\text{Beta}(\alpha_0 + \text{conversions},\ \beta_0 + \text{clicks} - \text{conversions})$ . Zieh jeden Tag einen Wert aus der Verteilung jeder Anzeige und gib das Budget von morgen der Anzeige mit dem höchsten Zug. Anzeigen, die klar verlieren, werden nicht mehr gezogen und nicht mehr finanziert, automatisch, und Anzeigen, die nah beieinander liegen, werden weiter verglichen. Der Prior $\text{Beta}(\alpha_0, \beta_0)$ ist die Stelle, an der Erfahrung ins Spiel kommt: Wenn ich aus ähnlichen Konten weiss, dass Landingpages wie deine mit rund 2 % konvertieren, hält ein Prior, der 200 Klicks und 4 Conversions entspricht, den Algorithmus davon ab, auf den ersten glücklichen Tag zu überreagieren. Über einen Monat gibt das typischerweise 30 bis 50 % weniger für Verlierer aus als eine feste Aufteilung, und diese Ersparnis ist für ein kleines Konto echtes Geld.

Die Linien sind vier Anzeigen in einem simulierten Lauf bei The Gift Bow, meinem Solidus Demoshop für Geschenkkörbe, bei dem die zwei Verlierer innerhalb von drei Wochen ausgehungert wurden, während das führende Paar weiter verglichen wurde. Das Budget musste für alle vier nie das Niveau "100 Conversions je Anzeige" erreichen, weil zwei davon es nie verdient hatten.

Was diese Rahmen nicht können, ist ein kleines Budget in ein grosses verwandeln. Sie halten dich davon ab, Geld an offensichtliche Verlierer zu verschwenden, und sie lassen dich zwei oder drei Kandidaten länger am Leben halten. Sie erlauben dir nicht, bei £10 pro Tag eine Anzeige mit 2,0 % von einer mit 2,2 % zu unterscheiden. Das bleibt eine Frage für ein grösseres Budget oder für eine ganz andere Art von Entscheidung, und das bringt mich zur Website.

Ebene fünf: wie viele Tests du gleichzeitig fahren kannst

Zwei Dinge begrenzen, wie viele Tests du zur selben Zeit fahren kannst: Traffic und falsch positive Ergebnisse.

Traffic. Jeder A/B Test braucht $2 \times n_{\text{per arm}}$ Besucher aus der Tabelle oben, und jede multivariate Zelle braucht dasselbe noch einmal. Wenn dein monatlicher Traffic $V$ ist und ein Test innerhalb eines Fensters von $w$ Wochen fertig sein soll, ist die Zahl der Tests, die du gleichzeitig auf unabhängigen Teilen des Funnels fahren kannst, höchstens

k_{\max} = \left\lfloor \frac{V \cdot w / 4.33}{\text{arms} \times n_{\text{per arm}}} \right\rfloor

Bei 300.000 Besuchern im Monat, einer Ausgangsrate von 2 % und einem MDE von 20 % gibt dir ein Zweiwochenfenster etwa 138.000 Besucher und Platz für drei A/B Tests oder einen multivariaten 2 mal 2 Test mit vier Zellen. Bei 30.000 Besuchern im Monat trägt dasselbe Fenster nichts, und ein Vierwochenfenster trägt einen A/B Test nur, wenn du bereit bist, nach einem Lift von 30 % statt 20 zu suchen. Bei 3.000 Besuchern im Monat hört die Arithmetik schlicht auf.

Falsch positive Ergebnisse. Jeder Test bei $\alpha = 0.05$ hat eine Wahrscheinlichkeit von 5 % für einen falschen Gewinner. Fahr $k$ gleichzeitig, und die Wahrscheinlichkeit, dass mindestens einer davon dich anlügt, ist $1 - 0.95^k$ :

Laufende Tests	Wahrscheinlichkeit für mindestens einen falschen Gewinner
1	5 %
2	10 %
3	14 %
5	23 %
10	40 %

Fahr zehn Tests im Monat, ohne dafür zu korrigieren, und du wirst pro Jahr vier falsche Verbesserungen ausrollen und dich wundern, warum sich die Gesamt Conversion Rate nie bewegt. Die Lösung ist eine Korrektur: Bonferroni teilt $\alpha$ durch $k$ (streng, einfach), die Methode von Holm macht dasselbe schrittweise und verschwendet weniger Teststärke, und für grosse Programme lässt dich der False Discovery Rate Ansatz von Benjamini und Hochberg sagen "höchstens 10 % unserer ausgerollten Gewinner sind falsch", statt jeden Test einzeln zu überwachen. Welche du auch wählst, die strengere Schwelle braucht mehr Besucher pro Test, und das fliesst zurück in die Traffic Obergrenze.

Wechselwirkung. Tests auf derselben Stufe des Funnels sind nicht unabhängig. Eine neue Headline und ein neuer Preis auf derselben Seite können jeweils allein gewinnen und gemeinsam verlieren, und genau das ist der Punkt von Warum immer nur eine Sache zu testen dich Geld kostet. Die praktische Regel: Tests auf verschiedenen Stufen (Anzeigen Creative, Landingpage, Checkout, Email) dürfen sich überlappen, wenn die Besucher in jeden unabhängig randomisiert werden. Tests auf derselben Stufe müssen entweder ein faktorielles Design sein oder nacheinander laufen.

Ebene sechs: was die Website braucht, bevor du auf echten Nutzerdaten optimieren kannst

Die Tabelle ganz oben ist die vollständige Antwort auf "wie viele Besucher brauche ich", aber es lohnt sich, sie in die Situationen zu übersetzen, die ich tatsächlich antreffe.

Besucher pro Monat	Ausgangsrate 2 %, Bestellungen pro Monat	Was ehrlich möglich ist
100	2	Nichts Statistisches. Zwei Bestellungen im Monat können dir nichts über eine Änderung sagen. Das ist ein Unternehmen für Best Practice und Direktvertrieb, siehe den nächsten Abschnitt.
1.000	20	Noch immer keine Conversion Tests. Du kannst eine Mikro Conversion mit höherer Ausgangsrate testen (In den Warenkorb bei 10 bis 15 %, oder einen Klick zur Kontaktseite) und über zwei bis drei Monate nur sehr grosse Effekte erwischen.
10.000	200	Ein A/B Test nach dem anderen, der nach einem Lift von 30 % sucht, dauert etwa zwei Monate. Nach 20 % zu suchen dauert vier. Wähl Tests mit grossen erwarteten Effekten: Angebot, Preisdarstellung, Checkout Ablauf.
50.000	1.000	Ein sauber dimensionierter A/B Test alle drei bis vier Wochen, oder zwei parallel auf verschiedenen Stufen mit längerem Fenster. Genug, um ein echtes Programm zu fahren.
300.000	6.000	Drei gleichzeitige A/B Tests oder ein multivariater 2 mal 2 Test alle zwei Wochen, mit Korrekturen für multiple Vergleiche. Tests auf Segmentebene (neu gegen wiederkehrend, mobil gegen Desktop) werden möglich.
1.000.000 und mehr	20.000	Volles Experimentierprogramm: faktorielle Designs, Holdouts, Bandits für Personalisierung und Tests auf Lifts von 5 bis 10 %. Die Grenze sind jetzt Ideen und Engineering, nicht Daten.

Multivariate Tests vervielfachen den Bedarf. Ein 2 mal 2 Test hat vier Zellen und braucht viermal $n_{\text{per arm}}$ ; ein 3 mal 3 Test hat neun. Fraktionell faktorielle Designs lassen dich mehr Faktoren mit weniger Zellen testen, indem du auf manche Wechselwirkungen verzichtest, und diesen Tausch mache ich bei 50.000 Besuchern oft, bei 10.000 fast nie. Dazu kommen vier Hygieneregeln, ohne die die Zahlen oben nichts bedeuten: in ganzen Wochen laufen lassen, nie ohne sequentiellen Plan hinschauen und früh stoppen, das Stichprobenverhältnis prüfen (wenn 52 % der Besucher in Variante B gelandet sind, ist deine Randomisierung kaputt und der Test auch) und innerhalb von etwa sechs Wochen abschliessen, bevor die Cookies wiederkehrender Besucher ablaufen und die Arme verunreinigen.

Ein Vorbehalt zu Mikro Conversions, weil sie der übliche Notausgang für Seiten mit wenig Traffic sind. In den Warenkorb konvertiert mit 10 % und braucht ein Zehntel des Traffics eines Kauftests. Aber was dich interessiert, sind Käufe, und eine Änderung, die die Warenkorbzugänge um 20 % hebt und dabei den Checkout etwas verschlechtert, kann Geld verlieren. Mikro Conversions sind ein vernünftiger Stellvertreter für einen Test über die Stufe, die sie messen, und ein schlechter Stellvertreter für alles, was danach kommt.

Ebene sieben: wenn du die Zahlen noch nicht hast, ist Erfahrung die Daten

Hier widerspreche ich vielem, was über "datengetriebenes Marketing" geschrieben wird. Die Tabellen oben lassen es so aussehen, als hätte ein Unternehmen mit 1.000 Besuchern im Monat keine Möglichkeit, sich zu verbessern, ausser zu raten. Das ist falsch, und es ist aus einem präzisen statistischen Grund falsch.

Jede Entscheidung verwendet einen Prior. In bayesschen Begriffen ist die Zahl, nach der du handelst, ein gewichteter Durchschnitt aus dem, was deine Daten sagen, und dem, was du geglaubt hast, bevor du die Daten hattest, und die Gewichte setzt die Menge an Daten, die du hast. Mit 40.000 Besuchern in einem Test spielt der Prior kaum eine Rolle. Mit 400 ist der Prior der grösste Teil der Antwort. Die Frage für ein kleines Unternehmen lautet nicht "Daten oder keine Daten". Sie lautet "wessen Prior". Ein Prior aus 15+ Jahren Konten, Landingpages, Checkouts und Preisseiten über Ecommerce, SaaS, Gastgewerbe und Dienstleistungen hinweg ist ein ganz anderer Ausgangspunkt als ein Prior aus einem Blogbeitrag und einem Bauchgefühl, und du kannst eine Zahl darauf legen. Wenn meine Erfahrung sagt, dass Seiten wie deine zwischen 1,5 und 3 % konvertieren, und ich das als $\text{Beta}(9, 391)$ ausdrücke, trägt das das Gewicht von etwa 400 Besuchern an Evidenz. Deine ersten 400 Besucher bewegen mich auf halbem Weg von dieser Überzeugung zu dem, was sie tatsächlich tun. Deine ersten 4.000 ersetzen sie so gut wie ganz. So bekommt ein Unternehmen ohne Daten vom ersten Tag an Entscheidungen, die besser sind als Zufall, und bekommt sie durch seine eigene Evidenz ersetzt, sobald diese Evidenz existiert.

In der Praxis sieht die Hierarchie der Evidenz, die ich für ein kleines Unternehmen verwende, so aus, das Beste ganz oben:

Dein eigener kontrollierter Test, dimensioniert wie oben. Selten bei wenig Traffic.
Deine eigenen Beobachtungsdaten, sorgfältig gelesen: Kohorten, Funnels, Wiederkaufraten, mit den Margen aus der Rahmentabelle daneben. Verfügbar für jeden mit sauberem Tracking und ein paar hundert Bestellungen.
Benchmarks der Kategorie, angepasst an deinen Preispunkt und deine Geografie.
Best Practice aus Konten wie deinem: was wiederholt funktioniert hat, auf Seiten und in Kampagnen mit derselben Form. Das ist es, was Erfahrung tatsächlich ist.
Meinung, meine eingeschlossen und deine auch.

Die meiste Agenturarbeit für kleine Unternehmen läuft auf Stufe fünf und beschreibt sich selbst als Stufe eins. Der grösste Teil meiner Arbeit für kleine Unternehmen läuft auf den Stufen zwei bis vier, und sagt das auch. Konkret heisst das, dass es in den ersten Monaten mit einem kleinen Shop oder einem frühen SaaS Produkt um Folgendes geht: Tracking, das jede Bestellung einmal zählt und sie vernünftig zuordnet; die Conversion Grundlagen, von denen bekannt ist, dass sie funktionieren, bevor irgendein Test sie dir bestätigt (ein klares Angebot pro Seite, ein Checkout ohne Überraschungen, Preise so dargestellt, wie die Kategorie es erwartet, ein Kontaktweg, der am Handy funktioniert); Kanäle, die Zeit statt Geld kosten; und ein kleines bezahltes Budget, das mit den Stoppregeln aus Ebene vier gefahren wird, damit es dir etwas beibringt, ohne so zu tun, als würde es etwas entscheiden. Das Ziel ist, das Unternehmen stetig in das Traffic Band hineinwachsen zu lassen, in dem echtes Testen möglich wird, und die Daten sauber zu haben, wenn du dort ankommst. Jede Stufe nach oben in der Tabelle aus Ebene sechs schaltet einen schnelleren Weg zu lernen frei, und deshalb verzinst sich Wachstum, sobald es einmal begonnen hat.

Die drei Linien nehmen einen Gewinn in jedem dritten Test an, einen durchschnittlichen echten Lift von 6 % pro Gewinn nach dem Schrumpfen für den Winner's Curse, und jeweils einen, drei und sechs abgeschlossene Tests pro Monat. Ein Test im Monat verzinst sich in einem Jahr auf etwa 27 %. Sechs Tests im Monat verzinsen sich auf fast das Vierfache der Ausgangs Conversion Rate. Die Linien sind keine Versprechen; sie sind das, was die Arithmetik der Testgeschwindigkeit tut, und die Testgeschwindigkeit wird von Traffic und Budget bestimmt. Je mehr wir testen können, desto steiler die Kurve. Das ist das ganze Argument dafür, zuerst den Traffic wachsen zu lassen und ehrlich zu sein, auf welcher Linie du bist.

Ebene acht: ist Performance Marketing für deine Phase und dein Budget überhaupt richtig?

Vor allem Obigen steht eine Frage, die meiner Meinung nach mit einer Formel statt mit einem Gefühl beantwortet werden sollte. Bezahlte Akquise zahlt sich aus, wenn die Kosten eines Kunden deutlich unter dem liegen, was dieser Kunde wert ist, und wenn du dir das Lernbudget leisten kannst, um das herauszufinden.

Die Obergrenze dessen, was du pro Kunde zahlen kannst, ist

\text{CPA}_{\max} = \frac{\text{AOV} \times \text{contribution margin} \times \text{expected orders per customer}}{\text{target LTV to CAC ratio}}

Für einen Geschenkkorbshop mit einem Medianwarenkorb von £68, einem Deckungsbeitrag von 45 % und 1,6 Bestellungen pro Kunde über ein Jahr, der das übliche 3 zu 1 anstrebt, sind das $68 \times 0.45 \times 1.6 / 3 \approx £16$ . Meta mit £15 bis £60 pro Conversion ist bestenfalls grenzwertig. Google Shopping mit £15 bis £50 ist grenzwertig. Das sagt dir, dass die erste Aufgabe des Shops nicht mehr Anzeigen sind, sondern ein höherer Warenkorb, eine höhere Wiederkaufrate oder eine höhere Marge, und erst dann Anzeigen. Für ein SaaS Produkt um £2.000 im Jahr mit 80 % Bruttomarge und einer durchschnittlichen Lebensdauer von 30 Monaten liegt die Obergrenze bei $2000 \times 0.8 \times 2.5 / 3 \approx £1,333$ , und LinkedIn Leads um £150, von denen einer von fünf abschliesst, kosten £750 pro Kunde und liegen bequem darunter.

Dann gibt es das Lernbudget, und das ist die Sache, die niemand in den Plan schreibt. Nach der Rahmentabelle ist ein vernünftiges Minimum, um zu lernen, ob ein Kanal überhaupt funktioniert, 30 bis 50 Conversions darin, und um zwei Ansätze innerhalb des Kanals zu vergleichen, 100 je Ansatz. Auf Meta oder Google bedeutet das für ein Konsumprodukt grob £3.000 bis £10.000 Ausgaben, bevor du irgendetwas Verlässliches weisst. Auf Google Search in einer umkämpften B2B Kategorie oder auf LinkedIn bedeutet es £10.000 bis £30.000. Wenn dieses Lernbudget mehr ist, als du ohne Reue verlieren kannst, ist Performance Marketing der falsche erste Kanal, egal wie gut das Creative ist.

Für viele Unternehmen, besonders frühe B2B Unternehmen, ist die Alternative, direkt zu den Kunden zu gehen, und die Optionen sind konkreter als "mach ein bisschen Outreach":

LinkedIn Sales Navigator und persönliche Ansprache. Rund £80 bis £100 im Monat pro Sitz, plus deine Zeit. Richtig für alles mit einem Auftragswert über etwa £5.000 und einem definierbaren Käufer: SaaS, Beratung, Agenturen, Fertigung, Recruiting, Software für ein bestimmtes Gewerbe. Falsch für Konsumprodukte und für alles unter etwa £1.000 im Jahr, wo sich die Zeit pro Gespräch nie zurückzahlt.
Email Ansprache. Im Vereinigten Königreich ist B2B Email an Firmenadressen unter PECR mit Widerspruchsmöglichkeit erlaubt, also funktioniert sie für britische B2B Listen. In Deutschland und Österreich braucht unverlangte Email auch zwischen Unternehmen vorherige Einwilligung, also heisst dieselbe Taktik dort LinkedIn, das Telefon mit Vorsicht, ein Brief oder eine Veranstaltung. Lass kein britisches Playbook in DACH laufen.
Empfehlungs und Partnerprogramme. Der Kanal mit den niedrigsten Kosten für Dienstleister und Agenturen, und der langsamste im Aufbau. Ich betreibe selbst eines; die Bedingungen stehen auf den Seiten zum Partnerprogramm.
Nur Suchintention. Google Search funktioniert, wenn die Leute bereits nach dem suchen, was du verkaufst. Sie erzeugt keine Nachfrage. Eine neue Kategorie ohne Suchvolumen braucht Meta, TikTok oder LinkedIn, damit die Leute sie wollen, und diese Kanäle brauchen die Budgets von oben.
Marktplätze und Verzeichnisse. Amazon, Etsy, Buchungsplattformen, Vergleichsseiten. Du mietest ihren Traffic und zahlst ihre Provision, was im kleinen Massstab meist das bessere Geschäft ist, als eine eigene bezahlte Akquise aufzubauen.
Content und SEO. Sechs bis zwölf Monate, bis es sich auszahlt, danach niedrige Grenzkosten. Richtig für alles, wonach gesucht wird; falsch als einziger Kanal für ein Unternehmen, das dieses Quartal Umsatz braucht.

Nach Branche die Kanäle, die üblicherweise relevant sind, und die, die es üblicherweise nicht sind:

Unternehmen	Üblicherweise relevant	Üblicherweise das Lernbudget zuerst nicht wert
Ecommerce für Konsumenten, Warenkorb unter £100	Meta, TikTok, Google Shopping, Marktplätze, Email an Bestandskunden	LinkedIn, Suche auf generische Begriffe
B2B SaaS	Google Search auf Problem Keywords, LinkedIn, Outbound über Sales Navigator, Partnerschaften, Content	TikTok, Meta jenseits von Retargeting
Dienstleister und Beratungen	Empfehlungen, LinkedIn organisch und Outbound, SEO, Vorträge	Jeder bezahlte Kanal, bis Empfehlungen systematisch laufen
Lokales Gewerbe und Dienstleistungen	Google Maps und Local Services, Google Search mit Ortsbezug, Meta lokal	LinkedIn, TikTok, nationale Suche
Gastgewerbe und Tourismus	Meta, Google Hotel und Search, Buchungsplattformen, Email an frühere Gäste	LinkedIn, generisches TikTok
Fertigung und Industrie	Outbound, Messen, LinkedIn, SEO auf Produktbegriffe, Händler	Meta, TikTok

Was du aus der Tabelle mitnehmen solltest, sind nicht die einzelnen Zellen, die sich jedes Jahr verschieben, sondern die Form: Je weniger und je wertvoller deine Kunden, desto eher ist der richtige erste Kanal ein Mensch, und je zahlreicher und weniger wertvoll sie sind, desto eher ist er eine Auktion. Performance Marketing ist ein Volumeninstrument. Wenn du zwölf Kunden im Jahr hast und zwanzig brauchst, ist es das falsche Instrument, und Data Science wird es nicht zum richtigen machen.

Ebene neun: Forecasting, wer es kann, und mit wie vielen Daten

Beim Forecasting ist die Lücke zwischen Versprechen und Daten am grössten, weil eine Prognose das eine Ergebnis ist, das gleich aussieht, ob es auf drei Jahren Wochenhistorie oder auf einer Tabelle voller Wünsche gebaut ist. Also werde ich konkret, was dir jede Menge an Historie kauft.

Minimale Historie nach Methode. Die Faustregeln, nach denen ich arbeite, in Wochendaten, sofern nicht anders angegeben:

Was du prognostizieren willst	Methode	Minimale Historie	Komfortable Historie
Das Niveau des nächsten Monats, ohne Saisonalität	Gleitender Durchschnitt oder einfache exponentielle Glättung	8 Wochen	13 Wochen
Niveau und Trend	Methode von Holt, Regression auf die Zeit	13 Wochen	26 Wochen
Wochensaisonalität innerhalb des Jahres	Saisonale Zerlegung, Holt Winters, saisonale Regression	2 volle Jahre (104 Wochen)	3 volle Jahre
Autokorrelierte Reihe mit Schocks	ARIMA, Box und Jenkins	etwa 50 Beobachtungen	100 oder mehr
Die Wirkung von Werbeausgaben auf den Umsatz	Regression mit Adstock Ausgaben, ARIMAX	20 bis 30 Wochen mit echter Variation in den Ausgaben	52 Wochen oder mehr mit Variation
Tagesnachfrage mit Wochentagsmuster	Jede der obigen auf Tagesdaten	8 Wochen (56 Punkte)	26 Wochen

Das Jahr an Historie für Saisonalität ist nicht verhandelbar, und es ist das, woran die meisten jungen Unternehmen scheitern. Ohne zwei Dezember kannst du "der Dezember ist gross" nicht von "wir sind gewachsen" trennen. Mit zwei kannst du es schätzen, mit drei kannst du es mit einer Fehlermarge schätzen, die du einer Bank zeigen würdest. Tagesdaten geben dir mehr Punkte, und Tagesdaten sind verrauschter, also kaufen sie dir weniger, als die Zahl vermuten lässt; eine Wochenreihe mit 104 Punkten ist meist eine bessere Prognosebasis als eine Tagesreihe mit 180.

Genauigkeit, die du ehrlich erwarten kannst. Ich berichte den mittleren absoluten Prozentfehler auf einem Holdout, nie eine Anpassungsstatistik auf den Trainingsdaten, und das sind die Bänder, die ich sehe:

Situation	MAPE bei vier Wochen Horizont	Was das für die Planung bedeutet
Reifes Unternehmen, 3 oder mehr Jahre, stabile Kanäle	5 bis 12 % monatlich, 10 bis 20 % wöchentlich	Plan Lager und Cash gegen das Band, und es hält in den meisten Monaten
1 bis 2 Jahre Historie, einige Kanalwechsel	12 bis 25 %	Plan gegen die untere Kante, behandle die obere Kante als Chance
Unter einem Jahr Historie, oder ein Kanalmix, der sich letztes Quartal geändert hat	25 bis 40 % oder schlechter	Eine Richtung, kein Plan. Monatlich neu prognostizieren und das auch sagen.
Neues Produkt, keine Historie	Kein Modell. Benchmarks und ein Prior.	Szenarien, keine Prognose.

Das Fehlerband weitet sich auch mit dem Horizont. Für eine Reihe, die sich wie ein Random Walk mit Drift verhält, wächst der Standardfehler einer Prognose $h$ Schritte voraus mit $\sqrt{h}$ , also trägt eine Prognose 16 Wochen hinaus die doppelte Unsicherheit einer Prognose 4 Wochen hinaus, und eine Zwölfmonatsprognose aus Wochendaten ist nur als breites Band ehrlich. Wer dir eine einzelne Linie zwölf Monate hinaus ohne Band zeigt, zeigt dir eine Zeichnung. Den vollständigen Aufbau, inklusive Holdout und Band, bin ich in Nachfrage prognostizieren: Autokorrelation, Saisonalität und ehrliche Fehlerbänder durchgegangen, und die breitere Landkarte der Methoden steht in Der komplette Leitfaden zu Forecasting: Wie du vorhersagst, was dein Unternehmen wirklich braucht.

Laufende Kampagnen einrechnen. Das ist die Bitte, die ich am häufigsten bekomme, und die, die sich am häufigsten nicht ehrlich erfüllen lässt, aus einem Grund, der nichts mit Modellierungskönnen zu tun hat. Um zu schätzen, wie viel ein Pfund Werbeausgaben zum Umsatz beiträgt, muss das Modell verschiedene Ausgabenniveaus gesehen haben. Wenn du ein Jahr lang jeden Monat £1.000 ausgegeben hast, enthalten die Daten keine Information darüber, was £2.000 bewirken würden, und keine Technik kann sie herausholen. Die Anforderungen, die ich stelle, bevor ich einen Kampagnenterm in eine Prognose nehme:

Mindestens 20 bis 30 Wochenbeobachtungen, in denen die Ausgaben tatsächlich variiert haben, mit einem Variationskoeffizienten von grob 0,3 oder mehr. Zeiträume mit null Ausgaben sind Gold, weil sie die Basislinie zeigen.
Etwa 10 bis 20 Beobachtungen pro Parameter, den das Modell schätzen soll. Ein Kanal mit Adstock und einer Sättigungskurve sind drei Parameter, also 30 bis 60 Wochen. Drei Kanäle sind neun Parameter, und dann geht es um zwei Jahre.
Ausgaben, die nicht selbst vom Umsatz bestimmt wurden. Wenn die Budgetregel "gib 10 % des Vormonatsumsatzes aus" lautete, verursacht der Umsatz die Ausgaben genauso, wie die Ausgaben den Umsatz verursachen, und eine einzelne Regression überschätzt den Werbeeffekt. Die Lösung steht in Simultane Gleichungen: wenn Marketing Umsatz treibt und Umsatz Marketing, und sie braucht noch mehr Daten.

Wo diese Historie nicht existiert, sind die ehrlichen Alternativen ein Inkrementalitätstest (schalte einen Kanal in einer Region oder für eine Zielgruppe vier Wochen lang ab und vergleiche, was Regionen braucht, die vergleichbar genug sind, und mindestens ein paar hundert Conversions im Zeitraum), oder ein Prior ROAS aus Benchmark und Erfahrung, der als Szenario mit breitem Band in die Prognose getragen wird und nicht als Koeffizient. Beides ist legitim. So zu tun, als käme der Koeffizient aus deinen Daten, wenn er aus meinem Kopf kam, ist es nicht.

Wie viele vergangene Kampagnendaten für eine verlässliche Kampagnenprognose. Für "was wird die Kampagne nächstes Quartal bringen" lautet die Regel, die ich Kunden gebe: drei vergleichbare Kampagnen oder 12 Wochen durchgehende Ausgaben mit Variation, je nachdem, was mehr ist. Darunter ist eine Kampagnenprognose eine Benchmark Spanne, die mit der frühen CTR deines Creatives eingeengt wird, was nützlich ist, aber keine Prognose deiner Kampagne. Über einem Jahr variierter Ausgaben wird der Kampagnenterm ein geschätzter Koeffizient mit Intervall, und die Prognose kann dir zeigen, was es mit dem Dezember macht, wenn du das Budget in den Oktober vorziehst. Das ist die Version, für die es sich zu zahlen lohnt, und es ist die Version, die du nur mit Historie kaufen kannst.

Was du hast, und was ich damit ehrlich tun kann

Alles zusammengenommen ist das die Tabelle, die ich lieber vor einem Vertrag zeige, als sie nach einem zu entdecken. Sie ist auch die Logik hinter dem interaktiven Planer auf meiner Data Science Seite, der deine Besucher, Kunden, Historie, Kampagnendaten und dein Budget nimmt und dich darin einordnet.

Stufe	Was du hast	Was ehrlich ist	Was ich tatsächlich mit dir mache
Fundament	Unter etwa 3.000 Besuchern im Monat, weniger als 50 Bestellungen, wenig oder keine Historie	Keine statistischen Tests. Prognosen sind Szenarien. Paid Media dient dem Lernen, mit Stoppregeln, nicht dem Entscheiden.	Tracking, das einmal zählt. Conversion Grundlagen aus 15+ Jahren Konten, angewendet, ohne auf Beweise zu warten. Kanäle, die Zeit kosten. Ein kleines bezahltes Budget, gefahren mit Rahmen. Ziel: die nächste Stufe innerhalb von zwei bis vier Quartalen.
Richtung	3.000 bis 20.000 Besucher, 50 bis 400 Bestellungen, 6 bis 12 Monate Daten	Mikro Conversion Tests auf grosse Effekte. Kohorten und Funnel Analyse mit Margen daneben. Niveau und Trend Prognosen, breite Bänder. Paid Media Entscheidungen im Rahmen von 30 bis 50 Conversions.	Eine monatliche Lesung der Zahlen mit Intervallen, kein Dashboard voller Durchschnitte. Ein grosser Test nach dem anderen. Creative Tests mit bayesscher Zuteilung. Erste Saisonprognose, sobald zwei Zyklen existieren.
Testen	20.000 bis 100.000 Besucher, 400 bis 2.000 Bestellungen, über ein Jahr Daten	Ein sauber dimensionierter A/B Test alle drei bis vier Wochen. Saisonprognosen mit 12 bis 25 % Fehler. Paid Entscheidungen im Rahmen von 100 Conversions pro Variante.	Eine Test Roadmap, geordnet nach Erwartungswert. Sequentielles Testen, damit du ehrlich früh aufhören kannst. Kampagnenterme in der Prognose, wo die Ausgaben variiert haben. Budgetverschiebungen zwischen Kanälen mit einem Intervall an jeder.
Programm	Über 100.000 Besucher, tausende Bestellungen, zwei oder mehr Jahre variierter Ausgaben	Gleichzeitige Tests mit Kontrolle multipler Vergleiche. Faktorielle Designs. Media Mix Modelling. Prognosen mit 5 bis 12 % Monatsfehler und Kampagnenszenarien.	Das volle Experimentier und Prognosesystem: Tests auf mehreren Funnel Stufen zugleich, Bandits für die Zuteilung, Inkrementalitätstests, eine Prognose, die Budgetfragen beantwortet, und die steilste Wachstumskurve, die der Traffic erlaubt.

Die Stufen sind kein Urteil. Die meisten Unternehmen, die ich wachsen liess, haben in der ersten Zeile begonnen, und die Arbeit bestand darin, sie in die dritte zu bringen. Was die Tabelle leistet, ist, dass das Projekt nicht so tun kann, als wäre es in Zeile vier, während die Daten in Zeile eins sind, denn genau in dieser Verstellung verschwinden Budgets, und das Vertrauen geht mit ihnen.

Wenn du das für deine eigenen Zahlen willst: Der kostenlose Workshop sind zwei Stunden, in denen wir deine Besucher, Bestellungen, Historie und dein Budget durch genau diese Rechnung schicken und vereinbaren, in welcher Zeile du bist, was die nächste Zeile braucht und was es kostet, dorthin zu kommen. Die kommerziellen Bedingungen stehen auf der Preisseite. Nichts im Workshop setzt voraus, dass du die Daten schon hast; er setzt voraus, dass du wissen willst, was du mit den Daten tun kannst, die du hast.

Fragen an jeden, der dir Wachstum verspricht

Auf wie vielen Conversions beruht die Entscheidung, die du empfiehlst, und wie gross ist die Fehlermarge bei dieser Zahl?
Für welchen minimal erkennbaren Effekt ist dieser Test dimensioniert, und wie viele Besucher pro Variante braucht das bei unserer Ausgangsrate?
Bei unserem Tagesbudget und unseren Kosten pro Conversion, wie viele Tage dauert es, bis diese Zahl an Conversions existiert?
Wie lautet die Stoppregel für eine verlierende Anzeige, und bei welcher Zahl an Klicks greift sie?
Wie viele Tests laufen gleichzeitig, und welche Korrektur für multiple Vergleiche wird angewendet?
Wie hoch ist das Lernbudget für diesen Kanal, bevor wir wissen, ob er funktioniert, und was passiert, wenn wir es uns nicht leisten können?
Auf wie vielen Wochen Historie ist diese Prognose gebaut, wie gross war ihr Fehler auf einem Holdout, und weitet sich das Band mit dem Horizont?
Haben unsere Werbeausgaben tatsächlich genug variiert, damit das Modell ihre Wirkung schätzen kann, oder ist der Kampagnenkoeffizient ein Benchmark?
In welcher Zeile der Tabelle sind wir, und was würde uns in die nächste bringen?