Fang bei der Entscheidung an, nicht beim Dashboard
Letztes Jahr hat mir ein Kunde ein Dashboard gezeigt, an dem eine Agentur vier Monate und erschreckend viel Geld gebaut hatte. Siebenundvierzig Diagramme auf neun Reitern. Live Traffic, Kohorten Retention, Funnel Abbrüche, eine schöne Landkarte mit pulsierenden Punkten. Es war, ehrlich gesagt, ein wunderschönes Stück Arbeit. Ich habe den Inhaber eine Frage gestellt. Wann hast du zuletzt draufgeschaut und wegen dem was da stand etwas anders gemacht? Lange Pause. Dann, ehrlich, nie. Genau das ist das Problem mit den meisten Analytics, und es hat fast nichts mit der Mathematik zu tun. Die Regressionen waren in Ordnung. Das Tracking war sauber. Die Zahlen stimmten. Es ist gescheitert weil es einen Bericht produziert hat auf den niemand reagiert hat, was eine sehr teure Art ist gar nichts zu produzieren.
Das Bildschirmschoner Problem
Letztes Jahr hat mir ein Kunde ein Dashboard gezeigt, an dem eine Agentur vier Monate und erschreckend viel Geld gebaut hatte. Siebenundvierzig Diagramme auf neun Reitern. Live Traffic, Kohorten Retention, Funnel Abbrüche, eine schöne Landkarte mit pulsierenden Punkten. Es war, ehrlich gesagt, ein wunderschönes Stück Arbeit. Ich habe den Inhaber eine Frage gestellt. Wann hast du zuletzt draufgeschaut und wegen dem was da stand etwas anders gemacht?
Lange Pause. Dann, ehrlich, nie.
Genau das ist das Problem mit den meisten Analytics, und es hat fast nichts mit der Mathematik zu tun. Die Regressionen waren in Ordnung. Das Tracking war sauber. Die Zahlen stimmten. Es ist gescheitert weil es einen Bericht produziert hat auf den niemand reagiert hat, was eine sehr teure Art ist gar nichts zu produzieren. Das Erste was ich dir mitgeben will, und ich sage es so deutlich wie ich kann. Ein Dashboard ist keine Analytics. Wenn sich keine Entscheidung ändert, hast du keine Erkenntnis gekauft. Du hast einen Bildschirmschoner gekauft.
Ich baue Datenarbeit für meinen Lebensunterhalt, das hier ist also ich, der gegen ein Stück der eigenen Branche argumentiert. Das meiste was als Analytics verkauft wird ist Sammeln, verkleidet als Verstehen. Jemand verkabelt jedes Event, leitet es in ein Warehouse, baut ein Dashboard obendrauf, und hofft dann dass sich Erkenntnis irgendwie aus der Luft niederschlägt wie Tau. Das passiert fast nie. Erkenntnis ist kein Nebenprodukt des Sammelns. Sie ist die Antwort auf eine Frage die du mit Absicht gestellt hast.
Und schau dir an wie das schöne Dashboard in der Praxis tatsächlich benutzt wird. Einmal im Quartal macht es jemand in einem Vorstandsmeeting auf, scrollt zu dem Diagramm das nach oben zeigt, fühlt sich kurz gut, und klappt den Laptop zu. Nichts bewegt sich. Die Diagramme die nach unten zeigen bekommen einen nervösen Witz und kein Nachfassen. Das ist nicht Messen das seinen Job macht. Das ist Messen als Deko, ein sehr kostspieliger Stimmungsring für den Gründer. Wenn das ein bisschen weh tut, gut. Bei mir hat es das erste Mal weh getan als ich gemerkt habe dass ich selbst so eines gebaut hatte.
Fang bei der Entscheidung an, nicht bei den Daten
Also hier die Methode die ich tatsächlich benutze, und sie läuft rückwärts zu dem wie die meisten Analytics Projekte aufgesetzt werden.
Die meisten Projekte starten bei den Daten. Was können wir tracken? Tracken wir alles. Dann bauen wir ein Dashboard, dann schauen wir aufs Dashboard, dann warten wir auf Weisheit. Ich will dass du am komplett anderen Ende anfängst. Fang bei der Entscheidung an die du zu ändern versuchst.
Keine Kennzahl. Eine Entscheidung. Eine Entscheidung ist eine Weggabelung an der du plausibel zwei verschiedene Dinge tun könntest, und an der die zwei Wege für das Geschäft an verschiedene Orte führen. Sollen wir den Preis erhöhen. Sollen wir dieses Feature einstellen. Sollen wir das Budget von Google zu LinkedIn verschieben. Sollen wir das Enterprise Segment jagen oder auf Self Serve setzen. Das sind Entscheidungen. Monatlich aktive Nutzer ist keine Entscheidung. Es ist eine Zahl die eine Entscheidung informieren könnte, oder auch nicht.
Sobald du die Entscheidung hast, stell die einzige Frage die als Nächstes zählt. Welche einzelne Zahl würde mich, wenn ich sie kennen würde, von dem einen Weg auf den anderen kippen? Ich nenne sie die entscheidende Zahl. Nicht die interessante Zahl, nicht die beeindruckende Zahl, die entscheidende. Die, bei der ein Wert auf dieser Seite bedeutet tu X und ein Wert auf jener Seite bedeutet tu Y. Wenn kein Wert der Zahl deine Meinung ändern würde, ist die Zahl Deko, und du kannst heute aufhören dafür zu bezahlen sie zu sammeln.
Das ist das Zweite was ich landen will. Jede Kennzahl die du trackst sollte eine Entscheidung dranhängen haben, und eine Schwelle an der sie diese Entscheidung kippt. Eine Kennzahl ohne Entscheidung dahinter ist kein Key Performance Indicator. Es ist eine Tatsache die du hortest.
Ein schneller Test: Kennzahl oder Entscheidung
Der schnellste Weg den Unterschied zu spüren ist ein paar davon nebeneinander zu legen. In der linken Spalte Dinge die Leute stolz tracken. In der rechten die Entscheidung die jede tatsächlich füttern würde, wenn überhaupt.
| Ding auf dem Dashboard | Entscheidung die es füttern könnte |
|---|---|
| Monatlich aktive Nutzer | Investieren wir in den Aktivierungsflow oder lassen wir ihn? |
| Seitenaufrufe im Blog | Beauftragen wir weiter Artikel oder hören wir auf? |
| Durchschnittliche Sitzungsdauer | Nichts, meistens. Es ist eine eitle Trostdecke. |
| Anteil der Trials die den Aha Moment erreichen | Bauen wir dieses Quartal das Onboarding um? |
| Bruttomarge je Tarifstufe | Stellen wir die unterste Stufe ein? |
Schick dein eigenes Dashboard durch diese Übung und sei ehrlich bei der rechten Spalte. Wenn eine Zeile nichts drin hat, oder dieselbe vage Antwort wie drei andere Zeilen, hast du ein Diagramm gefunden das du ohne Grund rendern lässt. Ich habe das noch mit keinem Kunden gemacht ohne dass mindestens ein Drittel der Diagramme direkt in die Tonne fällt.
Die Rückwärtsmethode, Schritt für Schritt
Hier die Reihenfolge durch die ich Kunden führe. Sie hat vier Schritte und die gehen mit Absicht in dieser Reihenfolge.
Eins. Benenne die Entscheidung. Schreib sie als echtes Entweder Oder. Nicht Retention verbessern, das ist ein Wunsch, sondern sollen wir diesen Quartal die Rückgewinnungs Mailstrecke bauen oder stattdessen das Onboarding überarbeiten. Echte Gabelung, echte Alternativen.
Zwei. Finde die entscheidende Zahl und ihre Schwelle. Für das Beispiel könnte das der Anteil abgewanderter Kunden sein die nach einem Anstoß in einem früheren Test innerhalb von neunzig Tagen zurückgekommen sind. Liegt er über rund acht Prozent zahlt sich die Rückgewinnungsstrecke wahrscheinlich selbst, liegt er unter drei Prozent gewinnt die Onboarding Arbeit fast sicher. Beachte dass ich Schwellen habe bevor ich Daten habe. Genau das ist der Punkt. Ich weiß was meine Meinung ändern würde bevor ich losgehe und suche.
Drei. Finde die kleinste Datenmenge heraus die dir sagen würde auf welcher Seite der Schwelle du bist. Nicht alle Daten. Die kleinste. Oft ist es eine einzelne Kohorte, eine Abfrage, hundert Zeilen, ein zweiwöchiger Holdout. Manchmal ist es eine Zahl die du schon hast und nie als entscheidend gerahmt hast.
Vier. Führe die kleinste Analyse durch die sie beantwortet, handle, und weiter. Kein Modell wenn ein Mittelwert reicht. Kein Dashboard wenn eine einmalige Abfrage reicht. Beantworte die Frage, triff die Entscheidung, und lass die Analyse in Würde sterben. Du baust kein Denkmal. Du beendest einen Streit.
In der Reihenfolge steckt eine Disziplin. Schritt eins und zwei passieren ganz ohne Daten im Raum. Du schreibst die Gabelung und die Schwelle auf ein Whiteboard, aus dem Bauch, bevor irgendwer ein Abfragetool aufmacht. Leute finden das unangenehm, weil die Schwelle zu raten sich unwissenschaftlich anfühlt. Es ist das Gegenteil. Sich festzulegen was die Meinung ändern würde bevor du die Zahl siehst ist die beste Verteidigung gegen Selbstbetrug, weil es dich davon abhält die Torpfosten zu verschieben sobald die Daten irgendwo landen wo es dir nicht gefällt.
Vergleich das mit dem üblichen Ansatz und der Kontrast ist fast komisch.
| Dashboard zuerst | Entscheidung zuerst |
|---|---|
| Start bei dem was wir sammeln können | Start bei dem was wir entscheiden müssen |
| Alles tracken, nur für den Fall | Die entscheidende Zahl mit Absicht tracken |
| Dashboard bauen, dann nach Bedeutung suchen | Schwelle setzen, dann die Zahl finden |
| Erfolg ist ein geliefertes Dashboard | Erfolg ist eine geänderte Entscheidung |
| Lebt ewig, angeschaut von niemandem | Beantwortet die Frage, dann tritt es ab |
| Niemand ist für eine Handlung verantwortlich | Jede Zahl besitzt eine Entscheidung |
Die Spalte Dashboard zuerst ist wo das Geld hingeht. Die Spalte Entscheidung zuerst ist wo das Geld zurückkommt.
Hier die Form davon als Bild.
Setz eine Zahl auf die Entscheidung selbst
Lass mich dir die Mathematik zeigen, denn sie ist einfacher als die Leute erwarten und sie ändert wie du dein Geld ausgibst.
Sagen wir du entscheidest ob du deinen Preis um zwanzig Prozent erhöhst. Es gibt zwei Weltzustände die du vorher nicht sehen kannst. Im guten Zustand, nenn ihn H, tolerieren die Kunden es größtenteils und du verdienst mehr Geld. Im schlechten Zustand, L, gehen genug von ihnen dass du weniger verdienst. Aus dem was du heute weißt setzt du den guten Zustand auf sechzig Prozent und den schlechten auf vierzig Prozent.
Der Erwartungswert einer Handlung ist einfach jedes Ergebnis gewichtet mit seiner Wahrscheinlichkeit:
Setz grobe Jahreszahlen ein. Erhöhst du den Preis und landest im guten Zustand verdienst du etwa fünfzigtausend mehr im Jahr. Erhöhst du ihn und landest im schlechten Zustand verlierst du etwa dreißigtausend. Behältst du den Preis ändert sich nichts, diese Handlung ist per Definition null wert. Dann:
Auf dem heutigen Glauben ist den Preis zu erhöhen also etwa achtzehntausend im Jahr wert und ihn zu behalten null. Würdest du gezwungen jetzt zu wählen, erhöhst du. Aber schau wie viel von diesem Erwartungswert auf einer vierzig Prozent Chance reitet dreißigtausend zu verlieren. Genau dieses Risiko kann ein kleiner Test abkaufen, und jetzt kann ich dir genau sagen wie viel dieser Test wert ist.
Es hilft die ganze Entscheidung als kleinen Baum zu sehen, mit der Wahl links und den zwei Weltzuständen die von jeder Handlung abzweigen.
Lies ihn von links nach rechts. Du wählst einen Ast an der Gabelung, dann wählt die Welt einen Ast an der Raute, und du kontrollierst nur die erste Wahl. Das ganze Spiel der Entscheidung zuerst Analytics ist einen Blick darauf zu kaufen welchen Ast die Welt nehmen wird bevor du dich festlegst, aber nur wenn dieser Blick weniger kostet als der Fehler den er verhindert. Was uns zu der Zahl bringt die alles regiert.
Der Wert der Information, in echten Euro
Das ist meine Lieblingsidee im ganzen Feld und fast niemand außerhalb einer Statistikabteilung benutzt sie. Sie beantwortet die Frage die jeder Inhaber stellen sollte bevor er irgendeine Analyse in Auftrag gibt. Was ist es wert, es zu wissen?
Stell dir vor du hättest ein perfektes Orakel das dir den wahren Zustand sagt bevor du entscheidest. Sagt es guter Zustand, was in sechzig Prozent der Fälle passiert, würdest du erhöhen und fünfzigtausend verdienen. Sagt es schlechter Zustand, in vierzig Prozent der Fälle, würdest du den Preis behalten und null verdienen, dem Verlust ausweichen. Der Erwartungswert wenn du immer mit perfektem Wissen entscheiden könntest ist also:
Der Wert perfekter Information ist schlicht die Differenz zwischen Entscheiden mit dem Orakel und Entscheiden auf deiner heutigen besten Schätzung:
Zwölftausend Euro. Das ist die Obergrenze. Das ist das absolute Maximum das irgendeine Studie, ein Test, eine Umfrage oder ein Dashboard zu dieser Frage dir je wert sein könnte, selbst wenn es fehlerfrei wäre, denn das ist die Größe des Fehlers vor dem es dich bewahren könnte. Und hier ist das Dritte das ich einhämmern will. Ein fünfhundert Euro Preistest an einer Stichprobe von Kunden, der dich den größten Teil des Weges zu dieser Antwort bringt, ist ein Schnäppchen zum Schreien. Ein vierzigtausend Euro Analytics Aufbau um dieselbe Frage zu beantworten ist Geld verbrennen. Die Information ist zwölftausend wert. Du zahlst nie mehr als die Antwort wert ist, und du hast jetzt die Zahl die dir sagt wo die Linie liegt.
Diese eine Rechnung tötet mehr schlechte Analytics Projekte als jede Menge Geschmack. Wenn dir jemand eine große Daten Initiative andreht, frag welche Entscheidungen sie füttert und was diese Entscheidungen wert sind. Wenn sie das nicht beantworten können, hast du deinen Bildschirmschoner gefunden bevor du dafür bezahlt hast.
Was wenn der Test nicht perfekt ist
Jetzt die ehrliche Falte. Echte Tests sind nie Orakel. Ein zweiwöchiges Preisexperiment an einem Teil deines Traffics gibt dir eine verrauschte Ablesung, nicht die Wahrheit. Der wahre Wert einer echten Studie sitzt also irgendwo unter dieser zwölftausend Euro Obergrenze, und wie weit darunter hängt davon ab wie stark der Test deinen Glauben wirklich verschiebt.
Du brauchst keine schwere Maschinerie um das zu spüren. Denk in drei Bändern. Wenn ein Test fast sicher egal wie auf derselben Seite deiner Schwelle landet, ist er nichts wert, führ ihn durch und du lernst nichts wonach du handeln würdest. Wenn ein Test plausibel auf jeder Seite landen könnte, und jede Seite dich auf eine andere Handlung zeigt, ist er viel wert, bis hinauf an die Obergrenze. Alles andere liegt dazwischen. Die Faustregel die ich Kunden tatsächlich laut sage ist diese. Ein Test lohnt sich nur wenn du dir ein Ergebnis vorstellen kannst das deine Meinung ändern würde. Wenn jedes Ergebnis zur selben Handlung führt, brich den Test ab und handle jetzt.
Es gibt eine saubere Art dasselbe zu sagen. Der Erwartungswert einer echten, unvollkommenen Studie, oft EVSI geschrieben, gehorcht immer:
Die linke Seite wirst du meist nicht von Hand ausrechnen, und du musst es auch nicht. Was zählt ist das Sandwich. Null am einen Ende, die Obergrenze perfekter Information am anderen, und deine echte Studie irgendwo dazwischen. Diese eine Ungleichung schließt leise zwei der häufigsten Arten aus wie Leute Geld verschwenden. Du kannst nicht mehr wert sein als die perfekte Antwort, jedes Angebot über dem EVPI ist also von vornherein Unsinn. Und eine Studie die deine Schwelle nicht überqueren kann ist die Null links wert, egal wie ausgefeilt sie aussieht.
Die praktische Folge ist fast unverschämt in ihrer Einfachheit. Bevor du irgendeine Analyse kaufst, rechne die EVPI Obergrenze in zehn Minuten auf einem Bierdeckel aus, dann frag ob die vorgeschlagene Studie dich realistisch über eine Schwelle bewegen könnte. Zwei Fragen. Sie sparen dir mehr Geld als ein Datenteam.
Aber vielleicht brauchen wir es später
Der häufigste Einwand den ich höre ist dass wir jetzt alles sammeln sollten weil wir es später wollen könnten. Klingt umsichtig. Es ist meistens eine Art den harten Teil zu vermeiden, nämlich zu entscheiden was dir wirklich wichtig ist.
Ich bin nicht gegen das Behalten von Rohdaten. Speicher kostet wirklich wenig und du solltest saubere Event Daten behalten wenn du kannst, im Rahmen dessen was der Datenschutz erlaubt und keinen Schritt weiter, denn Historie nachzufüllen ist schmerzhaft. Daten zu behalten ist in Ordnung. Der Fehler ist Analystenzeit, Dashboard Budget und, am schlimmsten, Managementaufmerksamkeit auf Daten zu verschwenden bevor eine Entscheidung sie braucht. Sammeln kostet wenig. Aufmerksamkeit ist die knappe Ressource, und eine Wand aus Diagrammen an die niemand eine Frage gestellt hat ist eine Steuer auf das Knappste das du hast. Behalte das Rohmaterial ruhig. Bau die Kathedrale nicht bevor jemand darin beten muss.
Darunter liegt eine echte Unterscheidung die es wert ist ausdrücklich zu machen, weil sie den meisten Streit auflöst. Daten speichern und Analytics bauen sind zwei völlig verschiedene Tätigkeiten mit zwei völlig verschiedenen Kosten. Einen sauberen Strom von Events zu speichern ist nahezu kostenlos und meist ein einmaliger Engineering Job. Ein Dashboard zu bauen, zu pflegen, zu erklären und anzustarren ist für immer teuer, weil die laufenden Kosten menschliche Aufmerksamkeit sind. Halte das Erste so breit wie der Datenschutz vernünftig zulässt. Rationiere das Zweite als wäre es die letzte Flasche Wasser in der Wüste, denn in einer kleinen Firma ist es das beinahe.
Ein durchgerechneter Mini Fall, von der Entscheidung zum Ergebnis in einer Woche
Lass mich die ganze Methode auf eine Geschichte legen, denn die Schritte sind klarer wenn sie sich bewegen. Die Zahlen hier sind erfunden um einen Kunden anonym zu halten, aber die Form ist eine die ich mehr als einmal erlebt habe.
Die Gründerin eines kleinen Business Tools kam zu mir überzeugt sie brauche einen kompletten Analytics Neubau. Der Umsatz war flach geworden, der Beirat wollte Antworten, und eine Agentur hatte eine fünfstellige Summe für das übliche Warehouse und Dashboard Paket veranschlagt. Bevor irgendwas unterschrieben wurde, haben wir die Rückwärtsmethode an einem einzigen Nachmittag gemacht.
Schritt eins, die Entscheidung. Nicht Wachstum reparieren, das ist ein Wunsch. Die echte Gabelung war diese. Stecken wir das nächste Quartal Engineering Zeit in einen Self Serve Onboarding Neubau, oder in einen Enterprise Feature Vorstoß für größere Accounts? Ein Team, ein Quartal, zwei Wege.
Schritt zwei, die entscheidende Zahl. Wir haben es durchdacht. Der Onboarding Neubau zahlt sich nur aus wenn viele Anmeldungen stocken bevor sie je Wert erreichen. Der Enterprise Vorstoß zahlt sich nur aus wenn das Geld wirklich in wenigen großen Accounts konzentriert ist die nach mehr fragen. Die entscheidende Zahl war also der Anteil des neuen Umsatzes der von den obersten zehn Prozent der Accounts kommt. Über rund sechzig Prozent liegt das Geld oben und Enterprise gewinnt. Unter vierzig Prozent ist Wachstum ein Mengenspiel und Onboarding gewinnt. Wir haben diese Schwellen an die Wand geschrieben bevor wir eine einzige Zahl gezogen haben.
Schritt drei, die kleinste Datenmenge. Das brauchte kein Warehouse. Es brauchte einen Export aus dem Abrechnungssystem und etwa zwanzig Minuten in einer Tabelle. Wir haben Accounts nach Umsatz sortiert, das oberste Zehntel genommen, und ihren Anteil am neuen Umsatz über die letzten zwei Quartale summiert.
Schritt vier, durchführen und handeln. Die Zahl kam mit einundsiebzig Prozent zurück. Bequem über der sechzig Prozent Schwelle, nicht mal in der Nähe der unscharfen Mitte. Das Geld lag unverkennbar oben. Enterprise gewann, der Onboarding Neubau kam ins Regal, und das Quartal ging an Features nach denen die größten Accounts gefragt hatten.
Hier der Teil der für diesen Artikel zählt. Das Ganze dauerte einen Nachmittag und eine Tabelle, und es hat ein ganzes Quartal eines Teams gesteuert. Der fünfstellige Analytics Neubau hätte ein schönes Dashboard produziert mit denselben einundsiebzig Prozent vergraben auf Reiter vier, Wochen später entdeckt, zum vierzigfachen Preis, um zur identischen Entscheidung zu kommen. Wir brauchten die Kathedrale nicht. Wir brauchten eine Zahl und den Mut die Schwelle zuerst hinzuschreiben.
| Schritt | Was wir getan haben | Zeit |
|---|---|---|
| Entscheidung benennen | Onboarding Neubau oder Enterprise Vorstoß | 20 Minuten |
| Entscheidende Zahl finden | Anteil des obersten Zehntels am neuen Umsatz | 15 Minuten |
| Schwelle setzen | Über 60 Prozent Enterprise, unter 40 Onboarding | 10 Minuten |
| Daten holen | Ein Abrechnungsexport | 20 Minuten |
| Durchführen und entscheiden | 71 Prozent, Enterprise gewinnt | 20 Minuten |
Häufige Fehler die ich immer wieder sehe
Nach genug davon kann ich fast vorhersagen wie sich eine Firma zurück in das Dashboard redet. Hier die die am häufigsten kommen.
Dem Interessanten nachjagen statt dem Entscheidenden. Es gibt immer ein Diagramm das Spaß macht anzuschauen und für keine Entscheidung relevant ist. Traffic nach Stunde des Tages ist der Klassiker. Faszinierend, fast nie handlungsleitend. Der Sog zum Interessanten ist genau deshalb stark weil es sich nach Arbeit anfühlt ohne das Risiko sich auf eine Gabelung festzulegen.
Die Schwelle verschieben nachdem man die Daten gesehen hat. Du hast gesagt acht Prozent würden die Rückgewinnungsstrecke rechtfertigen, die Zahl kam mit sechs, und plötzlich erklärst du warum sechs eigentlich ganz gut ist. Wenn du das tust, war die Schwelle nie echt und die ganze Übung war Theater. Schreib sie zuerst hin, vor jemandem, und halt dich daran.
Präzision kaufen die du nicht nutzt. Leute geben eine Studie auf die Nachkommastelle genau in Auftrag wenn die Entscheidung nur wissen muss auf welcher Seite einer breiten Linie du bist. Wenn deine Schwelle sechzig Prozent ist und jede vernünftige Schätzung zwischen siebzig und fünfundsiebzig landet, hast du deine Antwort schon. Mehr auszugeben um einundsiebzig auf siebzig Komma acht zu schärfen ist pure Verschwendung.
Ein Datenproblem mit einem Entscheidungsproblem verwechseln. Manchmal ist die ehrliche Antwort dass keine Zahl es klärt, weil die Gabelung um Strategie oder Risikoappetit geht, nicht um Fakten. Dashboards können nicht entscheiden ob du ein Enterprise Geschäft führen willst. Schick keine Daten los um einen Führungsjob zu machen.
Das Denkmal vor der Frage bauen. Der tiefste Fehler, der aus dem alle anderen wachsen, ist das Sammeln zu starten bevor eine einzige Entscheidung benannt ist. Jedes Bildschirmschoner Dashboard das ich je gesehen habe ist so geboren, aus guten Absichten und dem bequemen Gefühl dass Daten sammeln dasselbe ist wie Fortschritt.
Woran du merkst dass du es falsch machst
Ein paar Anzeichen, aus Jahren in denen ich in genau das reingelaufen bin. Wenn dein Dashboard einen Reiter hat den seit einem Monat niemand geöffnet hat, ist dieser Reiter Deko. Wenn du die letzte Entscheidung nicht benennen kannst die ein Bericht geändert hat, ist dein Reporting Theater. Wenn dein Analytics Briefing eine Liste von Kennzahlen ist statt einer Liste von Fragen, ist es rückwärts aufgesetzt und es wird dich enttäuschen. Und wenn ein Diagramm dich interessant sagen lässt und du dann nichts tust, war es nicht interessant. Es war ein Bildschirmschoner mit einer Trendlinie.
Die Lösung ist in jedem Fall dieselbe. Geh zurück zur Entscheidung. Wozwischen versuchst du eigentlich zu wählen? Welche Zahl würde es kippen? Das ist der Bericht. Alles andere ist optional, und das meiste davon wirst du nicht vermissen.
Wie du das ab Montag anwendest
Genug Theorie. Hier was du diese Woche tatsächlich tust, ohne neue Tools und ohne Budget.
Erstens, liste deine lebenden Entscheidungen. Setz dich hin und schreib die drei bis fünf echten Gabelungen auf die dem Geschäft im nächsten Quartal bevorstehen. Echte Entweder Oder, jede mit zwei benannten Alternativen. Wenn du keine drei füllen kannst, ist das schon ein Befund, und ein guter.
Zweitens, benenne für jede Entscheidung die entscheidende Zahl und rate ihre Schwelle aus dem Bauch, bevor du irgendwas anschaust. Sag laut wo die Linie ist die dich von einem Weg auf den anderen kippt. Schreib sie hin wo ein anderer sie sehen kann.
Drittens, mach den zehn Minuten EVPI Check. Skizziere was jeder Weg im guten und schlechten Fall wert ist, setz eine Wahrscheinlichkeit auf jeden, und rechne die Obergrenze aus was eine Antwort wert sein könnte. Ist die Obergrenze klein, vertrau deinem Bauch und weiter. Ist sie groß, hat diese Entscheidung einen richtigen Blick verdient.
Viertens, finde die kleinste Datenmenge die dich auf eine Seite der Schwelle stellt. Ein Export, eine Abfrage, eine Kohorte. Widersteh jedem Drang sie zu verbreitern. Du beschreibst nicht das Geschäft, du beendest einen Streit.
Fünftens, handle, dann lass die Analyse gehen. Triff die Entscheidung, und verewige die Rechnung nicht in einem dauerhaften Dashboard. Wenn dieselbe Entscheidung nächstes Quartal wiederkommt, und erst dann, überleg ob sie einen stehenden Bericht verdient. Die meisten nicht.
Mach das für eine echte Entscheidung und du spürst den Unterschied sofort. Es ist schneller, kostet weniger, und ist seltsam ruhiger als eine Wand aus Diagrammen anzustarren und auf eine Offenbarung zu hoffen.
| Wenn du dich sagen hörst | Tu stattdessen das |
|---|---|
| Tracken wir alles nur für den Fall | Benenne eine Entscheidung, track ihre entscheidende Zahl |
| Dafür brauchen wir ein Dashboard | Dafür brauchen wir eine Antwort, einmal |
| Die Zahl ist nicht präzise genug | Ist sie auf der richtigen Seite der Schwelle? Dann ist sie präzise genug |
| Interessant, schau dir den Trend an | Welche Entscheidung würde dieser Trend ändern? |
| Vielleicht brauchen wir es später | Speicher die Rohdaten, bau noch nichts |
Wo dich das hinstellt
Nichts davon heißt dass Messen Verschwendung ist. Es heißt dass Messen ein Mittel ist, und die Entscheidung der Zweck, und wir haben ein Jahrzehnt damit verbracht das verkehrt herum zu machen weil Daten sammeln sich nach Fortschritt anfühlt und Entscheidungen treffen sich nach Risiko anfühlt. Gute Analytics ist nicht die mit den meisten Diagrammen. Es ist die die geändert hat was du am Montag getan hast.
Also wenn dir das nächste Mal jemand anbietet ein Dashboard zu bauen, oder dich der Drang packt noch eine Sache zu tracken, halt an und stell die Entscheidung zuerst Frage. Welche Entscheidung versuche ich zu ändern, und welche einzelne Zahl würde sie ändern? Fang dort an, arbeite dich zurück zum Kleinsten das sie beantwortet, und du gibst ein Zehntel des Budgets aus und bekommst den zehnfachen Wert, weil jeder Euro davon auf eine Weggabelung zielt statt auf die Landschaft gesprüht zu werden.
Wenn du eine Hand willst die deine Daten auf echte Entscheidungen richtet statt auf schönere Dashboards, ist das ein großer Teil dessen was meine Data Science Arbeit ist. Ich fange gern damit an dir die Analyse auszureden die du nicht brauchst.