Was ist ein Insight, und warum die meisten Reports keinen enthalten

Der Quartalsbericht, den niemand liest

Jedes Quartal schicken die fünf Häuser der Loisachtal Hotels ihre Zahlen an die Zentrale in München, und jedes Quartal kommt ein PDF mit 38 Seiten zurück. Auslastung pro Haus. Durchschnittlicher Zimmerpreis pro Monat. Umsatz pro Kanal. Gästezufriedenheit pro Frage. Zwölf Folien zum Treueprogramm. Es ist korrekt, es ist pünktlich, und es ist wunderschön formatiert.

Loisachtal ist eine erfundene kleine Hotelgruppe im bayerischen Oberland, und jede Zahl in diesem Kapitel ist ausgedacht, damit ich jeden Schritt zeigen kann. Aber diesen Bericht habe ich, in leicht anderen Schriftarten, bei einem Dutzend Unternehmen gesehen.

Im Beispiel liest die Geschäftsführerin die ersten drei Seiten und überfliegt den Rest nach allem, was rot ist. Ihre Hoteldirektoren öffnen ihn gar nicht erst. Einer von ihnen bringt es ganz vernünftig auf den Punkt: "Er sagt mir, was passiert ist. Ich war dabei. Ich weiß, was passiert ist."

In diesem Satz steckt das ganze Kapitel. Der Bericht enthält mehrere Hundert Fakten und keinen einzigen Insight, und der Unterschied zwischen beidem ist, was der Leser als Nächstes tun kann. Die meisten Analysen scheitern genau an dieser Stelle: Sie hören beim Befund auf. Dieses Kapitel handelt vom letzten Schritt, dem, der aus einer Zahl eine Entscheidung macht, und davon, warum so wenige Teams ihn gehen.

Wo dieses Kapitel in der Serie steht

Das ist das dritte und letzte Kapitel von Teil eins der Serie, wie Analytics hilft. Im vorigen Kapitel, über Konsumentenverhalten als Basis der Marketingstrategie, habe ich dafür argumentiert, dass das Verhalten echter Kunden der Rohstoff der Strategie ist, nicht der Kanalreport. Hier schließe ich Teil eins mit der Frage ab, wofür all diese Analyse gut ist, und die Antwort ist kein Diagramm.

Ab dem nächsten Kapitel, über das Modellieren von Nachfrage und Preiselastizität mit Regression, geht die Serie in Teil zwei über, die Verfahren mit abhängiger Variable, wo das eigentliche Modellieren beginnt.

Reporting, Analyse und Insight sind drei verschiedene Aufgaben

Reporting beantwortet die Frage "was ist passiert". Die Auslastung lag bei 78 %. Der Anteil der Direktbuchungen lag bei 41 %. Reporting ist notwendig, es sollte automatisiert sein, und es sollte langweilig sein.

Analyse beantwortet "warum ist es passiert". Sie schneidet die Zahl nach Haus, nach Gerät, nach Gästetyp, nach Monat und sucht die Stelle, an der sich die Veränderung ballt. Aber Analyse allein lässt den Leser immer noch mit einem Schulterzucken zurück. Jetzt weißt du, warum der Direktanteil gefallen ist. Schön. Was soll ich jetzt damit machen?

Insights zu erzeugen beantwortet "was tue ich also, und was ist es wert". Das ist der Schritt, den fast alle auslassen, weil er von der Analystin verlangt, den sicheren Boden der Datenbeschreibung zu verlassen und eine Position zum Geschäft zu beziehen.

Meine Arbeitsdefinition: Ein Befund ist eine wahre Aussage über die Daten. Ein Insight ist ein Befund, der an eine Entscheidung geknüpft, mit einem Preis versehen und dessen Risiko laut ausgesprochen wurde. Fehlt einer dieser drei Teile, bleibt es ein Befund, egal wie klug er ist.

Die vier Tests, die ein Insight bestehen muss

Ein Insight muss vier Tests bestehen, in dieser Reihenfolge, denn der letzte zählt am meisten.

1. Neu. Der Leser wusste es noch nicht. "Am Wochenende ist mehr los als unter der Woche" fällt bei jedem Hotel der Welt durch.
2. Nicht offensichtlich. Man hätte es nicht von der Oberfläche der Zahlen erraten können. Meist kommt es aus einem Schnitt, einem Vergleich oder einem Modell, nicht aus der Schlagzeile.
3. Erklärt das Warum. Es nennt einen Mechanismus, keine Korrelation. "Gäste, die den Spa nutzen, geben mehr aus" ist eine Korrelation. "Gäste, die beim Check in einen Spatermin buchen, bleiben länger, weil der Termin ihren Abreisetag verankert" ist ein Mechanismus, und er kann falsch sein, und genau das macht ihn nützlich.
4. Umsetzbar. Es nennt eine Entscheidung, die jemand im Raum treffen darf, mit einer Größe und einem Risiko daran.

Drei von vier sind Trivia. Der vierte Test trennt eine Analytics Funktion von einem sehr teuren Newsletter, und über diese Haltung habe ich in Fang bei der Entscheidung an, nicht beim Dashboard geschrieben.

Ein Beispiel: "Unser Haus in Murnau hatte den besten August seiner Geschichte" stimmt, und der Direktor wusste es schon, also fällt es durch den ersten Test, bevor es die anderen erreicht. "Der August war stark, weil ein Wanderfestival den Ort eine Woche lang gefüllt hat" besteht die ersten drei Tests. Den vierten besteht es erst, wenn daraus wird: "Frag die Veranstalter des Festivals jetzt nach den Terminen fürs nächste Jahr und stell ein Festivalpaket acht Wochen früher als dieses Jahr auf die eigene Website des Hauses". Denn jetzt kann jemand ja oder nein sagen.

Die Entscheidung mit dem Erwartungswert bepreisen

Wenn ein Insight eine Entscheidung nennen muss, muss er auch sagen, was die Entscheidung wert ist, und dafür braucht es ein kleines Stück Mathematik. Der Erwartungswert einer Entscheidung ist die mit Wahrscheinlichkeiten gewichtete Summe dessen, was passiert, wenn du sie triffst:

$$EV(d) = \sum_{i=1}^{n} p_i \, v_i$$

Dabei ist $d$ die Entscheidung, $i$ läuft über die $n$ Ergebnisse, die du für plausibel hältst, $p_i$ ist die Wahrscheinlichkeit, die du Ergebnis $i$ zuschreibst, und $v_i$ der Wert dieses Ergebnisses in Geld, meist pro Jahr. Die Wahrscheinlichkeiten $p_1$ bis $p_n$ müssen zusammen eins ergeben. Sie sind Einschätzungen, keine Messungen, und ehrlich präsentiert man sie als Einschätzungen. Grundlagen: Erwartungswert.

Der Erwartungswert allein ist nicht die Zahl, auf die es ankommt. Es kommt darauf an, wie viel besser du dastehst, als wenn du nichts tust, nachdem du die Änderung bezahlt hast:

$$\Delta EV = EV(\text{act}) - EV(\text{status quo}) - C$$

$\Delta EV$ ist der Wert der Entscheidung, $EV(\text{act})$ der Erwartungswert, wenn du die Entscheidung triffst, $EV(\text{status quo})$ der Erwartungswert, wenn du weitermachst wie bisher, und $C$ die Kosten der Änderung, einschließlich der Zeit der Menschen, die sie braucht. Ist $\Delta EV$ positiv, lohnt sich die Entscheidung im Erwartungswert, wobei eine kleine positive Zahl mit großem Abwärtsrisiko trotzdem die Risikozeile verdient, die das Briefing später in diesem Kapitel enthält. Grundlagen: Erwartungswert.

Die ausführlichere Fassung davon, einschließlich der Frage, was es wert ist, vor der Entscheidung mehr Informationen einzukaufen, habe ich in Die drei Fragen, die deine Daten beantworten sollten behandelt, und die Entscheidungstheorie dahinter in Entscheidungstheorie für Gründer.

Rechenbeispiel: eine kleine Entscheidung mit Preis

Ein Hotel erwägt eine Änderung für 2.000 € an seiner Buchungsseite fürs Frühstück. Das Beispiel nimmt drei Ergebnisse an: mit 50 % Wahrscheinlichkeit bringt sie 6.000 € im Jahr, mit 30 % bringt sie 2.000 €, und mit 20 % bringt sie nichts. Ändert sich nichts, bringt auch der Status quo nichts zusätzlich, also $EV(\text{status quo}) = 0$.

Erster Schritt, der Erwartungswert des Handelns: $EV(\text{act}) = 0{,}5 \times 6.000 + 0{,}3 \times 2.000 + 0{,}2 \times 0 = 3.000 + 600 + 0 = 3.600$.

Zweiter Schritt, der Wert der Entscheidung: $\Delta EV = 3.600 - 0 - 2.000 = 1.600$.

Die Entscheidung ist im ersten Jahr im Erwartungswert rund 1.600 € wert. Der schlechteste Fall ist minus 2.000 €, die Kosten ohne jeden Gegenwert, und auch dieser Satz gehört ins Briefing.

Kandidaten bewerten, damit das Wort ehrlich bleibt

Kandidaten für Insights werden nach den vier Tests plus der Größe des Gewinns bewertet, und die Umsetzbarkeit zählt doppelt:

$$S = N + O + W + 2A + P$$

$S$ ist die Punktzahl, $N$ die Neuheit (0 bis 2), $O$ die fehlende Offensichtlichkeit (0 bis 2), $W$ ob es das Warum erklärt (0 bis 2), $A$ die Umsetzbarkeit (0 bis 3, doppelt gezählt) und $P$ die Größe des Gewinns (0 bis 3), maximal also 15. Es ist eine gewichtete Summe, derselbe Baustein wie der Erwartungswert. Grundlagen: Erwartungswert.

Alles unter 8 kommt in den Anhang. Alles mit einem $A$ von null kommt nirgendwohin, egal wie hoch die Summe ist.

Das Bewertungsschema ist meines, und die Gewichte sind eine Einschätzung, kein Gesetz. Wichtig ist, dass sich das Team vor dem Bewerten darauf einigt, damit niemand sie nachträglich dreht, um einen Liebling zu retten.

Dieselben Zahlen, dreimal geschrieben

Zurück zu Loisachtal. Seite 14 des Berichts enthält einen völlig brauchbaren Befund.

Rechenbeispiel, Fassung eins: der Befund

"Der Anteil der Direktbuchungen fiel im dritten Quartal gegenüber dem Vorjahresquartal von 44 % auf 41 %. Die Buchungen über Plattformen stiegen entsprechend."

Stimmt. Schön formatiert. Von allen ignoriert, weil niemand weiß, was er damit anfangen soll. Drei Punkte können ein saisonaler Mixeffekt sein, eine Aktion einer Plattform oder Rauschen.

Rechenbeispiel, Fassung zwei: die Analyse

Nach Haus, Gerät und Gästetyp geschnitten, wird die Geschichte konkret. Der Rückgang ballt sich vollständig in zwei Häusern, Loisachtal Murnau und Loisachtal Kochel, die im Juni auf die neue Buchungsmaschine der Gruppe umgestellt wurden. In diesen beiden Häusern fiel die Abschlussrate der Direktbuchung auf dem Smartphone von 3,1 % auf 1,9 %, nachdem der neue Schritt zur Auswahl von Datum und Zimmer live gegangen war. Am Desktop bewegte sich nichts. Die anderen drei Häuser, noch auf der alten Maschine, liegen im Jahresvergleich flach.

Die Gäste, die verloren gehen, sind überwiegend Stammgäste, deren Direktanteil von 70 % auf 61 % fiel. Sie fangen auf dem Smartphone auf der Website des Hotels an, geben beim neuen Schritt auf und buchen zu Ende in der App einer Plattform, die ihre Kartendaten schon kennt.

Jetzt wissen wir, warum. Das ist Analyse, und noch immer muss niemand etwas tun.

Rechenbeispiel, Fassung drei: der Insight

"Repariert den Schritt für Datum und Zimmer auf dem Smartphone in der neuen Buchungsmaschine in Murnau und Kochel, und gebt Stammgästen ein gespeichertes Profil plus eine Erinnerung an den Direktpreis drei Wochen vor ihrem üblichen Zeitfenster für die nächste Buchung. Der Zimmerumsatz der Gruppe liegt bei rund 9,6 Millionen € im Jahr, drei Punkte Anteil sind also 288.000 €, die mit 15 % Provision über Plattformen laufen, rund 43.200 € Provision im Jahr, und dazu die Beziehung zum Gast. Die erwartete Rückgewinnung liegt bei rund 25.200 € im Jahr gegen Kosten von rund 9.000 €, die Entscheidung ist im ersten Jahr also rund 16.200 € wert und in jedem Jahr danach die volle Rückgewinnung. Das Hauptrisiko ist, dass die Verschiebung zum Teil ein Mixeffekt ist. Der Anteil der Erstgäste liegt im Jahresvergleich flach, deshalb glaube ich nicht, dass es so ist, aber die Gruppe weiß es innerhalb eines Quartals."

Die 15 % sind die Annahme des Beispiels. Onlinereisebüros verlangen auf jede Buchung typischerweise 15 % bis 25 % Provision, laut einer Untersuchung der britischen Verbraucherorganisation Which?, über die 2020 berichtet wurde.¹ Das Beispiel sitzt also bewusst am unteren Ende: Ein Briefing, das das obere Ende braucht, um aufzugehen, ist kein gutes Briefing.

So sieht ein Insight aus. Eine Entscheidung, eine Verantwortliche (das Webteam der Gruppe), ein Gewinn mit offengelegter Rechnung, eine mit Wahrscheinlichkeiten gewichtete Erwartung, Kosten, ein Risiko und ein Datum, an dem die Gruppe weiß, ob es falsch war. Hier ist die Rechnung, denn ein Insight, der seine Arithmetik versteckt, bittet um Vertrauen statt um Prüfung.

Ergebnis	Wahrscheinlichkeit	Gesparte Provision pro Jahr	Gewichteter Wert
Volle Rückgewinnung der drei Punkte	0,45	43.200 €	19.440 €
Teilweise Rückgewinnung eines Punkts	0,40	14.400 €	5.760 €
Kein messbarer Effekt	0,15	0 €	0 €
Erwartungswert des Handelns	1,00		25.200 €
Kosten der Änderung			9.000 €
Wert der Entscheidung, erstes Jahr			16.200 €

Lies sie Zeile für Zeile. Die erste Zeile sagt: Wenn die Reparatur bewirkt, was die Daten aus dem Buchungstrichter nahelegen, zahlt die Gruppe auf 288.000 € Buchungen keine 15 % Provision mehr, das sind $0{,}15 \times 288.000 = 43.200$, und ich gebe dem eine Chance knapp unter der Hälfte, weil Buchungsmaschinen nie so schnell repariert sind, wie der Anbieter verspricht.

Die zweite Zeile ist das realistische Teilergebnis: Der Schritt ist repariert, aber die Stammgäste haben sich die Plattform schon angewöhnt, also kommt nur ein Punkt zurück. Ein Punkt von 9,6 Millionen € sind 96.000 €, und 15 % davon sind 14.400 €.

Die dritte Zeile ist das ehrliche Scheitern, und ich habe noch nie ein Briefing ohne sie geschrieben. Summier die gewichtete Spalte, $19.440 + 5.760 + 0 = 25.200$, zieh die Kosten ab, und du hast die 16.200 €, die oben ins Briefing kommen. Nichts zu tun spart keine Provision, der Status quo zählt hier also als null. Der schlechteste Fall ist minus 9.000 €, damit kann die Geschäftsführerin leben, und auch dieser Satz gehört ins Briefing.

Die 9,6 Millionen €, die 15 % und die Wahrscheinlichkeiten sind erfunden. Die Struktur ist es nicht.

Fünf Kandidaten bewerten

Derselbe Bericht lieferte fünf Aussagen, die die Leute im Raum gern Insights genannt hätten, hier nach dem Schema bewertet.

Kandidat	Neu	Nicht offensichtlich	Erklärt das Warum	Umsetzbar (x2)	Gewinn	Punkte
Der Anteil der Direktbuchungen fiel um drei Punkte	0	0	0	0	1	1
Abbrüche auf dem Smartphone beim neuen Datumsschritt erklären den verlorenen Direktanteil in zwei Häusern	2	2	2	3	2	14
Stammgäste wandern zu Plattformen ab, weil sich die Plattform an sie erinnert und das Hotel nicht	1	2	2	2	2	11
Die Auslastung am Wochenende ist höher als unter der Woche	0	0	0	0	0	0
Gäste, die den Spa nutzen, geben pro Aufenthalt 40 % mehr aus	1	1	0	1	1	5

Nimm die zweite Zeile als Probe für die Arithmetik: $S = 2 + 2 + 2 + 2 \times 3 + 2 = 14$.

Die erste Zeile ist der Befund aus dem Bericht. Sie bekommt einen Punkt, für den Gewinn, weil irgendwo Geld darin steckt, und fällt durch jeden anderen Test: Alle wussten es, sie hat keinen Mechanismus, und sie nennt keine Entscheidung.

Die zweite Zeile ist der Insight, der im Briefing landet. Er erreicht 14 von 15. Einen Punkt verliert er beim Gewinn nur, weil 43.200 € im Jahr echtes Geld sind, aber bei 9,6 Millionen € Zimmerumsatz nicht alles verändern.

Die dritte Zeile, der Begleitinsight über Stammgäste, ist etwas weniger neu, weil der Direktor es vermutet hatte, und etwas weniger umsetzbar, weil gespeicherte Profile ein größeres Projekt sind, als einen Schritt zu reparieren. Er nimmt trotzdem die Hürde und kommt als zweite Phase ins selbe Briefing.

Die vierte Zeile steht hier, weil sie im Bericht stand, in Farbe, auf Seite 9, jedes Quartal seit drei Jahren.

Die fünfte Zeile sieht aus wie ein Insight und ist keiner. Spagäste geben mehr aus. Natürlich tun sie das: Sie haben eine Spabehandlung gekauft. Ohne Mechanismus kann die Aussage dir nicht sagen, ob es die Ausgaben hebt, den Spa zu bewerben, oder ob es bloß die Gäste neu etikettiert, die ohnehin mehr ausgegeben hätten. Über diese Falle habe ich in Lügt dein Dashboard dich an? geschrieben. Fünf Punkte, Anhang, und eine Notiz, dass ein ordentlicher Test sie aufwerten könnte.

Von den Daten zur Entscheidung

Der Weg von einer Datenbank zu einer geänderten Entscheidung hat mehr Tore, als die meisten Teams einzeichnen, und an diesen Toren entsteht der Wert.

Lies es von oben. Jeder Befund trifft auf zwei Tore, bevor er zum Insight wird. Die meisten gehören in den Anhang, und das ist in Ordnung. Wenn du einen Kandidaten nicht bepreisen kannst, gehst du zurück und suchst die fehlende Zahl. Du schreibst kein vageres Briefing. Der letzte Schritt schließt den Kreis: Das gemessene Ergebnis sind die Daten, mit denen die nächste Runde beginnt.

Das zweite Diagramm ist der Grund, warum Führungskräfte Analytics ignorieren, so schlicht gezeichnet, wie ich kann.

Die waagerechte Achse ist das Quartal, die senkrechte eine einfache Anzahl. Die obere Linie sind die produzierten Seiten Reporting, die untere die Entscheidungen, die die Geschäftsführung auf einen Report zurückführen konnte. Die Zahlen sind erfunden, aber die untere Linie habe ich selten über fünf gesehen.

Vierzig Seiten pro Quartal und, in einem guten Quartal, drei Entscheidungen. Die Lücke entsteht, wenn niemand gebeten wird, den vierten Schritt zu gehen. Die Lösung sind nicht weniger Seiten. Es ist eine andere erste Frage.

Das Insight Briefing auf einer Seite

Alles, was eine Führungskraft von einem Insight braucht, passt auf eine Seite, und wenn es nicht passt, ist der Insight nicht fertig. Hier ist die Vorlage, die ich benutze.

INSIGHT BRIEFING                                Datum / Autor / Version

ENTSCHEIDUNG   Ein Satz. Wer tut was, bis wann.
BELEGE         Drei bis fünf Stichpunkte. Jeder eine Zahl mit ihrer Quelle.
GEWINN         Erwartungswert pro Jahr, mit Rechnung. Bester und schlechtester Fall.
RISIKO         Was uns widerlegen würde, wie wir es merken, und wie schnell.
KOSTEN         Geld und Arbeitszeit, auch die der Leute, die sich dagegen sträuben.
VERANTWORTUNG  Ein Name. Keine Abteilung.
PRÜFTERMIN     Das Datum, an dem wir auf das Ergebnis schauen, und die Zahl, auf die wir schauen.

Die Entscheidung steht zuerst, weil der Leser innerhalb von fünf Sekunden wissen soll, worum er gebeten wird. Das Risiko steht in der Mitte statt in einer Fußnote, weil eine Führungskraft, der man das Risiko in klaren Worten gibt, dem Gewinn traut, und eine, der man es nicht gibt, ihn ohnehin halbiert.

Die Gewohnheit, die das alles zum Laufen bringt, ist, bei der Entscheidung anzufangen. Nicht "was sagen die Daten", sondern "welche Entscheidungen stehen im nächsten Quartal an, und welche Zahl würde jede davon ändern". Fängst du stattdessen bei den Daten an, erzeugst du fünfzig Befunde und suchst dann zu jedem eine Entscheidung, die du daranhängen kannst, und so landest du bei der Spazeile.

Rechenbeispiel: das Briefing für Loisachtal, ausgefüllt

• Entscheidung: Das Webteam repariert bis 31. März den Schritt für Datum und Zimmer auf dem Smartphone in Murnau und Kochel.
• Belege: Der Direktanteil in den beiden Häusern fiel von 44 % auf 41 %. Die Abschlussrate auf dem Smartphone fiel nach der Umstellung im Juni von 3,1 % auf 1,9 %. Desktop flach. Die drei Häuser auf der alten Maschine flach. Der Direktanteil der Stammgäste fiel von 70 % auf 61 %.
• Gewinn: 25.200 € im Jahr erwartet, bester Fall 43.200 €, schlechtester Fall nichts.
• Risiko: ein Mixeffekt. Der Anteil der Erstgäste ist flach, das spricht dagegen. Sichtbar innerhalb eines Quartals.
• Kosten: rund 9.000 €, überwiegend Zeit des Anbieters der Buchungsmaschine.
• Verantwortung: eine namentlich genannte Person im Webteam.
• Prüftermin: 30. Juni, die Abschlussrate auf dem Smartphone in den beiden Häusern gegen 3,1 %.

Die Fassung für den Geschenkkorbshop

Ein zweites, kleineres Beispiel. Lena betreibt Korbwerk, einen erfundenen Onlineshop für Geschenkkörbe in Hamburg unter korbwerk.example, und ihre Firmenkunden bestellen in einem engen Zeitfenster vor Weihnachten.

Rechenbeispiel: vom Befund zum Insight bei Korbwerk

Der Befund, direkt aus dem Backend des Shops: 40 Firmenkonten haben letztes Jahr bestellt, insgesamt 26.000 € im vierten Quartal. Interessant, bekannt, und er nennt keine Entscheidung.

Die Analyse: Von den Firmenkonten aus dem Jahr davor haben 24 von 40, also 60 %, letztes Jahr wieder bestellt, fast alle zwischen dem 28. November und dem 8. Dezember. Kein Konto, das bis zum 10. Dezember nicht bestellt hatte, hat danach noch bestellt. Also sind 16 Konten, 40 %, abgesprungen. Wenn sie ausgeben wie der Rest, sind das $0{,}40 \times 26.000 = 10.400$, rund 10.400 € Firmenumsatz, die jedes Jahr still und leise verschwinden.

Der Insight: Am 27. November bekommt jedes Firmenkonto vom letzten Jahr eine kurze persönliche Mail von Lena, mit der Bestellung vom Vorjahr vorausgefüllt und einem Link, um mit einem Klick erneut zu bestellen. Das Beispiel nimmt an, dass die Erinnerung ein Viertel der Konten zurückgewinnt, die sonst abspringen würden: $16 \times 0{,}25 = 4$ Konten, und $10.400 \times 0{,}25 = 2.600$, also rund 2.600 € Umsatz für einen Nachmittag Arbeit. Das Risiko sind ein paar Abmeldungen. Verantwortung: Lena. Prüftermin: 12. Dezember, die Rate der Nachbestellungen der angeschriebenen Konten gegen die 60 % vom letzten Jahr.

Eine Entscheidung, ein Gewinn mit seiner Rechnung, ein Risiko und ein Datum, in einem Absatz. Die Zahlen sind erfunden. Auf das zeitliche Muster würde ich in jedem Geschäft mit Geschenken wetten.

Ein Insight Review durchführen

Das Insight Review ist ein Termin von dreißig Minuten einmal im Monat, und es ersetzt das Durchgehen der Reports.

Vor dem Termin listet die Geschäftsführung die Entscheidungen auf, die in den nächsten neunzig Tagen tatsächlich anstehen. Die Preise für die nächste Saison. Ob der Vertrag mit der Plattform verlängert wird. Fünf bis zehn Punkte. Zu jedem schreibt jemand die Zahl auf, die ihn ändern würde. Allein dieser Schritt erledigt meist die Hälfte der Standardreports.

Die Analysten bringen dann Kandidaten für Insights mit, jeder nach dem Schema bewertet, jeder auf einer Seite im Briefingformat. Alles unter 8 wird nicht vorgestellt. Es kommt in einen gemeinsamen Anhang, den jeder lesen darf und niemand lesen muss.

Im Termin bekommt jedes Briefing fünf Minuten: Entscheidung, Gewinn, Risiko, Fragen. Das Ergebnis ist jeweils eines von drei Wörtern: ja, nein oder mehr, wobei "mehr" ein konkretes Stück Analyse mit Namen und Datum bedeutet. Jedes Ja bekommt eine verantwortliche Person und einen Prüftermin, bevor der Termin endet.

Rechenbeispiel: die Abfrage hinter dem Briefing für Loisachtal

Die Datenarbeit hinter einem Briefing ist selten exotisch. Für Loisachtal war es eine einzige Abfrage auf die Buchungstabelle:

select h.name as hotel,
       b.device,
       case when g.stays_before > 0 then 'returning' else 'first time' end as guest_type,
       date_trunc('quarter', b.booked_at) as quarter,
       avg(case when b.channel = 'direct' then 1.0 else 0.0 end) as direct_share,
       count(*) as bookings
from bookings b
join hotels h on h.id = b.hotel_id
join guests g on g.id = b.guest_id
where b.booked_at >= date '2024-07-01'
group by 1, 2, 3, 4
order by 1, 4, 2, 3;

Jede Zeile ist ein Haus, ein Gerät, ein Gästetyp und ein Quartal. Der Durchschnitt einer Spalte, die bei einer Direktbuchung 1 und sonst 0 ist, ist einfach der Direktanteil. Die Abfrage beginnt im Juli 2024, damit das dritte Quartal 2025 ein drittes Quartal aus dem Vorjahr zum Vergleich hat. Die Kunst liegt nicht im SQL, sondern darin zu wissen, nach welchem Schnitt man fragt, und das kommt daher, dass man zuerst eine Entscheidung im Kopf hat.

Vier Prüfungen, bevor du das Briefing schreibst

Bevor ich einem Kandidaten genug traue, um das Briefing zu schreiben, mache ich vier Prüfungen. Fällt eine durch, geht der Kandidat zurück auf "mehr".

1. Ist die Stichprobe groß genug, dass die Verschiebung kein Rauschen ist? Ein Anteil, der sich bei ein paar Tausend Buchungen um drei Punkte bewegt, ist wahrscheinlich kein Zufall, ein Segment mit zweihundert Buchungen kann es sehr wohl sein.
2. Ist es ein Mixeffekt? Das heißt, die Zusammensetzung hat sich verändert, nicht das Verhalten. Eine Summe kann sich bewegen oder sogar umkehren, während jede Gruppe darin stillhält, Statistiker kennen das als Simpson Paradox.² Deshalb zählt die Trennung in Erstgäste und Stammgäste.
3. Zeigt sich der Mechanismus auch an anderer Stelle in den Daten? Hier in den Abschlussraten des Buchungstrichters.
4. Fände ich die umgekehrte Geschichte genauso überzeugend, wenn sich die Zahlen in die andere Richtung bewegt hätten? Das ist die Prüfung, die das meiste meines eigenen Wunschdenkens erwischt.

Rechenbeispiel: sind drei Punkte Rauschen?

Nimm die erste Prüfung mit Zahlen. Angenommen, jedes der beiden dritten Quartale enthält in den beiden Häusern 3.000 Buchungen, letztes Jahr 44 % direkt und dieses Jahr 41 %. Der gepoolte Anteil ist $p = 0{,}425$. Der Standardfehler der Differenz ist

$$\sqrt{0{,}425 \times 0{,}575 \times \left(\tfrac{1}{3.000} + \tfrac{1}{3.000}\right)} = \sqrt{0{,}2444 \times 0{,}000667} \approx 0{,}0128$$

und $z = 0{,}03 / 0{,}0128 \approx 2{,}35$, was einen zweiseitigen p Wert von rund 0,02 ergibt. Bei 200 Buchungen pro Seite liegt der Standardfehler bei rund $0{,}049$ und $z \approx 0{,}61$: dieselben drei Punkte, und nichts, worauf du handeln könntest. Grundlagen: Hypothesentests.

Sechs Arten, wie das schiefgeht

Insight Theater. Das Wort klebt auf allem. "Zentraler Insight: Der Umsatz ist um 4 % gewachsen." Sobald jeder Stichpunkt ein Insight ist, hört die Führungskraft auf, sie alle zu lesen, auch den einen, der gezählt hätte. Pass auf das Wort auf.

Korrelation im Mantel eines Mechanismus. Wieder die Spazeile. Eine plausible Geschichte, die nicht getestet wurde, ist gefährlicher als gar keine, weil sie die Leute davon abhält weiterzusuchen. Wurde das "Warum" nicht an einem zweiten Schnitt der Daten geprüft, sag es in der Risikozeile.

Ein Gewinn ohne Wahrscheinlichkeit. Die Schlagzeilenzahl in den meisten Berichten ist der beste Fall, präsentiert als Erwartung. "Das könnte 43.200 € im Jahr wert sein." Könnte es. Erwartet wird, dass es rund 25.200 € wert ist, und diese Lücke entscheidet, ob die Führungskraft deinem nächsten Briefing traut. Zeig immer die gewichtete Spalte.

Die Maßnahme, für die niemand verantwortlich ist. "Wir sollten das Buchungserlebnis auf dem Smartphone verbessern." Wer? Bis wann? Ein Insight, der im Passiv endet, ist ein Befund mit Ambitionen. Schreib einen Namen dran, und wenn niemand im Raum dieser Name sein kann, sag, wessen Entscheidung es wirklich ist.

Die Entscheidung, die schon gefallen war. Manchmal wird die Analyse in Auftrag gegeben, um eine Entscheidung zu rechtfertigen, die der Vorstand letzten Monat getroffen hat. Wenn das passiert, ist die ehrliche Antwort, es auszusprechen und allen die zwei Wochen zu ersparen. Wie genau das vor allem Dashboardprojekte umbringt, steht in einem längeren Text: Warum dein Dashboardprojekt immer wieder im Regal stirbt.

Auf Gewissheit warten. Das gegenteilige Scheitern. Weil die Wahrscheinlichkeiten Einschätzungen sind, weigern sich manche Teams, sie aufzuschreiben, und warten auf eine Zahl, die nie kommt. Eine aufgeschriebene 0,45, die sich als falsch herausstellt, lehrt dich etwas. Ein nicht aufgeschriebenes "wahrscheinlich" lehrt dich nichts, und die Saison ist vorbei, bis ihr darüber fertig gestritten habt.

Wie ich das für Kunden mache

Ich fange mit dem kostenlosen Workshop an, mit den Menschen, die Entscheidungen treffen, nicht mit denen, die die Folien bauen. Gemeinsam listen wir die Entscheidungen auf, die in den nächsten neunzig Tagen anstehen, und zu jeder die Zahl, die sie ändern würde. Die meisten Kunden verlassen diesen Raum mit einer kürzeren Liste von Reports, als sie mitgebracht haben.

Dann übernehme ich zwei Wochen echte Arbeit auf meine Rechnung, bevor du dich zu irgendetwas verpflichtest. Ich brauche Lesezugriff auf die Systeme, von denen die Entscheidungen abhängen: die Buchungsmaschine oder die Datenbank des Shops, das Analytics Konto, den Export aus der Buchhaltung. In diesen zwei Wochen erstelle ich die ersten drei Insight Briefings im Format von oben, bewertet, bepreist, mit aufgeschriebenem Risiko, und ich führe mit deinem Team das erste Insight Review durch, damit die Gewohnheit einmal geübt ist, bevor ich einen Schritt zurücktrete.

Was du danach bekommst, wenn du weitermachst, ist kein Dashboard. Es ist ein monatlicher Satz von Briefings auf einer Seite, jedes an eine Entscheidung auf deiner Liste geknüpft, jedes mit einem Erwartungswert und einem Prüftermin, plus ein Dashboard nur dann, wenn es eine Frage beantwortet, die du jede Woche stellst. Dir gehört alles davon: die Abfragen, die Briefings, das Bewertungsblatt.

Wo ein Briefing ein ordentliches Modell dahinter braucht, ist das die Arbeit in Data Science, um die es im Rest dieser Serie geht. Wo die Entscheidung eine Marketingentscheidung ist, verbindet Growth Plus eine monatliche Grundgebühr mit einer Provision nur auf die zusätzlichen Umsätze, die ich bringe.

Die Kosten stehen in klaren Worten auf der Preisseite: monatliche Laufzeiten, Endpreise, und der kostenlose Workshop plus zwei Wochen auf meine Rechnung, bevor du dich festlegst.

Fragen an dein eigenes Team

Nimm diese Fragen mit ins nächste Reportingmeeting. Wenn mehr als zwei davon leere Blicke ernten, erzeugen die Reports keine Insights.

• Welche Entscheidung, die in den nächsten neunzig Tagen ansteht, ändert dieser Report, und welche Zahl darin würde diese Entscheidung ändern?
• Was haben wir bei den letzten drei Dingen, die wir Insight genannt haben, danach anders gemacht, und was war es am Ende wert?
• Was ist der Erwartungswert der Empfehlung auf dieser Seite, und welche Wahrscheinlichkeiten hast du dafür angenommen?
• Was müsste wahr sein, damit diese Empfehlung falsch ist, und wann würden wir es merken?
• Wer ist für diese Maßnahme verantwortlich, mit Namen, und an welchem Datum schauen wir auf das Ergebnis?
• Wenn wir diesen Report morgen nicht mehr erstellen würden, wem würde es auffallen, und was würde er stattdessen tun?

Diese Serie ist von Mike Grigsbys Buch Marketing Analytics inspiriert.³ Die Erklärungen, Beispiele und Zahlen hier sind meine eigenen.

Footnotes

1. Gary Noakes, Which? says avoid OTAs when booking hotels, TTG Media, 3. März 2020, https://www.ttgmedia.com/news/which-says-avoid-otas-when-booking-hotels-21546

2. Jan Sprenger und Naftali Weinberger, Simpson's Paradox, Stanford Encyclopedia of Philosophy, 2021 (überarbeitet 2026), https://plato.stanford.edu/entries/paradox-simpson/

3. Mike Grigsby, Marketing Analytics: A Practical Guide to Improving Consumer Insights Using Data Techniques, Kogan Page, 2022, ISBN 9781398608191, https://www.netgalley.co.uk/catalog/book/267990