Lügt dein Dashboard dich an? Ein zehn Minuten Datenqualitäts Audit
Hier ist etwas das ich auf die harte Tour gelernt habe, mehr als einmal, während ich mit einem Kunden vor einem Dashboard stand und wir beide zu einer Zahl nickten die sich als Unsinn herausstellte. Eine falsche Zahl die selbstbewusst aussieht ist gefährlicher als gar keine Zahl. Wenn du keine Zahl hast bleibst du vorsichtig, du fragst herum, du sicherst dich ab, du hältst dir Optionen offen. Wenn du eine Zahl hast, besonders eine ordentliche auf einem schönen Diagramm, hörst du auf zu fragen. Du handelst. Und wenn diese Zahl still falsch ist, hast du gerade mit vollem Selbstvertrauen eine Entscheidung auf schlechten Daten getroffen, was genau die schlechteste Art ist falsch zu liegen.
Die selbstbewusste falsche Zahl
Hier ist etwas das ich auf die harte Tour gelernt habe, mehr als einmal, während ich mit einem Kunden vor einem Dashboard stand und wir beide zu einer Zahl nickten die sich als Unsinn herausstellte. Eine falsche Zahl die selbstbewusst aussieht ist gefährlicher als gar keine Zahl. Wenn du keine Zahl hast bleibst du vorsichtig, du fragst herum, du sicherst dich ab, du hältst dir Optionen offen. Wenn du eine Zahl hast, besonders eine ordentliche auf einem schönen Diagramm, hörst du auf zu fragen. Du handelst. Und wenn diese Zahl still falsch ist, hast du gerade mit vollem Selbstvertrauen eine Entscheidung auf schlechten Daten getroffen, was genau die schlechteste Art ist falsch zu liegen.
Die meisten Dashboards die ich öffne tragen mindestens ein paar davon. Nicht weil jemand nachlässig war, sondern weil Datenqualitätsprobleme sich verstecken. Sie werfen keine Fehler. Das Diagramm rendert trotzdem, der Durchschnitt rechnet sich trotzdem, die Linie geht trotzdem nach oben rechts. Nichts schreit. Genau das ist das ganze Problem. Eine kaputte Pipeline brüllt dich an, also reparierst du sie vor dem Mittagessen. Ein subtil falscher Durchschnitt flüstert, und du glaubst ihm, und du glaubst ihm monatelang weiter, weil er dir nie einen Grund gibt es nicht zu tun.
Das hier ist also ein praktischer Beitrag. Ich will dir ein zehn Minuten Audit geben das du heute Nachmittag auf deinem eigenen Dashboard laufen lassen kannst, kein Data Science Team nötig, nur ein misstrauischer Kopf und ein paar schnelle Prüfungen. Die Denkweise habe ich mir aus zwei Büchern geliehen die bei mir im Regal stehen, The Data Analytics Handbook (2014) und Business Intelligence, Analytics and Data Science (2018), und aus einer Gewohnheit die ich mir als den Datenqualitäts Detektiv vorstelle: nimm an die Zahl ist schuldig bis sie ihre Unschuld beweist. Diese eine Umdeutung verändert alles daran wie du einen Bildschirm liest. Du hörst auf das Diagramm zu bewundern und fängst an es zu verhören.
Warum sich schlechte Daten so gut verstecken
Bevor es zu den Prüfungen geht lohnt es sich zu verstehen warum dieses Problem so heimtückisch ist, denn sobald du den Mechanismus siehst entdeckst du ihn überall.
Ein Softwarefehler ist meist laut. Etwas stürzt ab, eine Seite bleibt leer, ein roter Fehler erscheint, und alle stürzen sich darauf ihn zu beheben. Ein Datenqualitätsproblem ist die entgegengesetzte Art Tier. Der Code läuft perfekt. Jede Funktion gibt einen Wert zurück. Die Pipeline endet grün. Das Einzige was falsch ist, ist dass einer dieser Werte nicht bedeutet was du denkst dass er bedeutet, und es gibt keinen Test auf der Welt der eine Zahl fängt die technisch gültig aber sachlich falsch ist. Achtzig ist eine völlig gute Zahl. Sie ist eine echte Fließkommazahl, sie rendert auf einem Diagramm, sie sortiert und summiert und mittelt sich ohne zu murren. Sie ist nur nicht die Wahrheit.
Hier ist das erste A HA das ich dir früh mitgeben will, denn alles andere hängt daran. Das Fehlen eines Fehlers ist kein Beweis für Korrektheit. Ein Dashboard das nie eine einzige Warnung geworfen hat ist kein vertrauenswürdiges Dashboard, es ist ein stilles, und still ist nicht dasselbe wie ehrlich. Wir behandeln die beiden ständig als wären sie dasselbe, und es kostet uns.
Die die alles vergiftet: Leerwerte als Null gezählt
Lass mich mit der Prüfung anfangen die für den geringsten Aufwand den meisten Schaden abfängt, denn sie ist die die mich am meisten überrascht hat als ich zum ersten Mal sah wie weit sie reicht.
Das Symptom
Du schaust auf einen Aushängeschild Durchschnitt und er fühlt sich ein bisschen niedrig an. Nicht alarmierend niedrig, nur weicher als du erwartet hast. Dein Bauch sagt der durchschnittliche Bestellwert sollte um die hundert liegen und der Bildschirm sagt achtzig, und du zuckst mit den Schultern, weil achtzig plausibel ist und Bauchgefühle keine Beweise sind. Dieses Schulterzucken ist das Symptom. Die Zahl ist still abgesenkt und sie ist genau um den Betrag abgesenkt der sie glaubwürdig hält.
Die Ursache
Irgendwo zwischen der Datenbank und dem Diagramm wurden Leerwerte als Null gelesen statt übersprungen. Das passiert ständig, auf jeder Ebene. Eine Tabellenkalkulation behandelt eine leere Zelle in einer Funktion als Null und ignoriert sie in einer anderen. Ein SQL Durchschnitt ignoriert Nullwerte, aber sobald jemand diese Spalte in ein coalesce packt das Null zu einer Null macht, treten die Nullwerte als echte Nullen der Berechnung bei. Ein Export schreibt leere Zeichenketten, der Import liest sie als Zahlen, und leer wird zu null. Niemand hat entschieden das zu tun. Es ist das Standardverhalten eines Dutzend Werkzeuge, und Standardwerte sind der Ort an dem Daten still falsch werden.
Der schnelle Test
Zähl deine Zeilen auf zwei Arten. Gesamtzeilen, und Zeilen in denen das Wertfeld tatsächlich befüllt ist. Wenn diese zwei Zahlen sich unterscheiden, und dein Durchschnitt über die größere gerechnet wird, ist dein Durchschnitt zu niedrig. Zehn Sekunden, und es fängt erstaunlich viel ab.
Das durchgerechnete Beispiel
Stell dir einen einfachen Bericht vor: durchschnittlicher Bestellwert über fünfzig Bestellungen. Das Diagramm zeigt eine Zahl, deinen durchschnittlichen Bestellwert diesen Monat. Sauber, eine einzige Zahl, leicht zu vertrauen. Nimm jetzt an dass zehn dieser fünfzig Bestellungen über einen Kanal kamen der keinen Wert erfasst hat, das Feld ist also leer. Und nimm an dass diese zehn Leerwerte als Null gelesen wurden statt übersprungen.
Der Mittelwert einer Menge von Werten ist einfach die Summe geteilt durch die Anzahl.
Nimm zuerst die ehrliche Fassung. Vierzig Bestellungen haben tatsächlich einen Wert erfasst, und diese vierzig Werte summieren sich auf 4000. Der wahre durchschnittliche Bestellwert, über die Bestellungen für die du wirklich Daten hast, ist
Jetzt die vergiftete Fassung. Die zehn Leerwerte wurden still zu Nullen gemacht, die Summe bleibt also unverändert bei 4000, aber du teilst jetzt durch fünfzig statt durch vierzig.
Gleiches Geschäft dahinter, gleiche echte Bestellungen, und dein Aushängeschild, der durchschnittliche Bestellwert, ist gerade von 100 auf 80 gefallen. Um den Schaden zu bemessen, leg die vergiftete Zahl über die wahre.
Eine Untertreibung um zwanzig Prozent, und nicht eine einzige Sache auf dem Dashboard sieht kaputt aus. Das Diagramm ist ordentlich. Die Zahl ist plausibel. Wenn überhaupt sieht eine Achtzig glaubwürdiger aus als eine Hundert, weil runde selbstbewusste Zahlen immer glaubwürdig aussehen.
Wie weit das Gift wandert
Hier ist der Teil der es wirklich gefährlich macht, und es ist das zweite große A HA. Dieser eine schlechte Umgang mit Leerwerten bleibt nicht in seiner Spur. Dieser Durchschnitt speist deine Umsatzprognose, deine Ziel Akquisekosten, deine Marge pro Kunde, das Verhältnis auf das das ganze Werbebudget geeicht ist. Ein Feld, still falsch gelesen, und jede Zahl weiter unten die es berührt ist jetzt still falsch. Niemand merkt es, weil nichts einen Fehler geworfen hat.
Denk an eine Kette. Wenn dein wahrer durchschnittlicher Bestellwert hundert ist und du eine Kampagne auf einen Ziel Werbeertrag planst, fließt der Höchstbetrag den du zahlen darfst um einen Kunden zu gewinnen direkt aus dieser Zahl. Eich deine erlaubten Akquisekosten auf achtzig Euro Wert wenn die Wahrheit hundert ist, und du drosselst vollkommen profitable Kampagnen weil sie aussehen als würden sie Geld verlieren. Das leere Feld hat dich nicht nur ein genaues Diagramm gekostet. Es hat dich das Wachstum gekostet das du gedrosselt hast. Das ist die echte Rechnung, und sie taucht nie auf dem Dashboard auf das sie verursacht hat.
Denk einen Moment darüber nach. Eine Handvoll Leerwerte als Null gezählt kann jeden Durchschnitt auf der Seite vergiften, und die Seite sieht trotzdem perfekt aus, und die Kosten landen irgendwo völlig anders als dort wo der Fehler wohnt.
Das zehn Minuten Audit, Prüfung für Prüfung
Gut, hier ist die Routine. Du musst nicht technisch sein. Du musst neugierig sein. Geh diese der Reihe nach durch und markiere alles was durchfällt. Eine Markierung ist keine Katastrophe, sie ist eine Spur der du folgst.
Lass mich die Prüfungen durchgehen die das Flussdiagramm ausführt, jeweils mit der zehn Sekunden Fassung, dazu das Symptom das du spürst, die Ursache darunter, und ein durchgerechnetes Beispiel damit du genau weißt was du dir anschaust.
Prüfung eins: gehen die Summen auf
Symptom und Ursache
Das Symptom ist eine Summe die sich größer oder kleiner anfühlt als die Realität, und du hast keine Außenzahl mit der du dagegen argumentieren könntest. Die Ursache teilt sich in zwei. Wenn das Dashboard mehr sagt als die Quelle, hast du wahrscheinlich doppelt gezählte Zeilen, was in dem Moment passiert in dem ein Join auffächert, eine Bestellung die auf drei Versandzeilen passt und dreimal gezählt wird. Wenn das Dashboard weniger sagt, wird etwas fallen gelassen oder gefiltert bevor es zu dir kommt.
Schneller Test und Beispiel
Nimm eine Zahl die du gegen etwas außerhalb des Dashboards prüfen kannst. Gesamtbestellungen diese Woche gegen die rohe Bestelltabelle. Gesamtumsatz gegen das was tatsächlich auf der Bank oder beim Zahlungsanbieter gelandet ist.
Sagen wir das Dashboard meldet 1500 Bestellungen diese Woche und die rohe Bestelltabelle hat 500 Zeilen. Das ist kein zufälliges Rauschen, es ist ein Faktor drei, und ein sauberes Vielfaches wie dieses ist der Fingerabdruck eines auffächernden Joins. Jede Bestellung wird mit ihren Versandzeilen verbunden, und Bestellungen mit drei Paketen werden einmal pro Paket gezählt. Das Umsatzdiagramm ist durch denselben Mechanismus aufgebläht. Eine Zahl die sich nicht auf eine Quelle der du traust zurückführen lässt ist noch keine Zahl. Sie ist ein Gerücht. Eine Zahl pro Woche abzugleichen hält jede Zahl ehrlich, denn die Summen sind die tragende Wand auf der der Rest des Dashboards ruht.
Prüfung zwei: Leerwerte gegen Nullen
Die haben wir schon eingeführt, hier will ich sie also eine Ebene weiter treiben, denn Leerwerte zerstören nicht nur Durchschnitte. Sie zerstören Raten, und Raten steuern dein ganzes Marketing.
Die Raten Fassung
Eine Konversionsrate ist Konversionen über Sitzungen.
Jetzt stell die unhöfliche Frage über beide Hälften. Wenn Sitzungen ohne erfassten Ausgang als null Konversionen gezählt werden, ist dein Zähler ehrlich aber dein Nenner ist aufgepolstert, und die Rate fällt. Wenn andersherum ein Schwung Sitzungen gar nicht erfasst wurde weil ein Tag nicht ausgelöst hat, schrumpft dein Nenner und die Rate springt. Gleiche Realität dahinter, zwei entgegengesetzte Lügen, beide abhängig davon wie ein leeres Feld behandelt wurde.
| Wo der Leerwert landet | Was er mit der Rate macht | Was du fälschlich schließt |
|---|---|---|
| Polstert den Nenner | Drückt die Rate nach unten | Der Kanal sieht schlechter aus als er ist |
| Fehlt im Nenner | Drückt die Rate nach oben | Der Kanal sieht besser aus als er ist |
| Polstert den Zähler | Drückt die Rate nach oben | Das Angebot scheint mehr zu konvertieren |
| Fehlt im Zähler | Drückt die Rate nach unten | Das Angebot scheint weniger zu konvertieren |
Schneller Test
Zähl Gesamtzeilen, zähl befüllte Zeilen, vergleiche, und denk denselben Gedanken dann für Zähler und Nenner jeder Rate. Wenn eine der beiden Seiten still Leerwerte zählt, ist die Rate Fiktion die sich als Prozentsatz verkleidet.
Prüfung drei: das fehlende Segment
Symptom und Ursache
Das Symptom ist von Natur aus subtil: nichts sieht falsch aus, denn das Problem ist eine Sache die nicht da ist. Ein Segment das still verschwunden ist ist schlimmer als eines das eine schlechte Zahl zeigt, denn eine schlechte Zahl zieht den Blick an und eine fehlende Zeile nicht. Die Ursache ist fast immer ein Filter oder ein Namensfehler weiter oben. Ein Kanal wird an der Quelle umbenannt, der Dashboard Filter sucht noch nach dem alten Namen, und der ganze Kanal fällt ohne einen Mucks aus jedem Diagramm.
Schneller Test und Beispiel
Schau dir deine Aufschlüsselung nach Kanal, oder Region, oder Produkt an und stell die langweilige Frage: ist alles was ich erwarte tatsächlich da? Liste die Segmente von denen du weißt dass sie existieren und hak sie gegen den Bildschirm ab. Ich habe einen ganzen Vertriebskanal für einen Monat aus einem Bericht verschwinden sehen weil eine Namensänderung weiter oben bedeutete dass er nicht mehr zu einem Filter passte, und die Summen wurden einfach still kleiner ohne dass es jemand mitbekam. Der Hinweis lag nicht in der fehlenden Zeile, denn eine fehlende Zeile kannst du nicht sehen. Der Hinweis war dass die Wochensumme nach unten gedriftet war und niemand sagen konnte warum. Wenn ein Segment von dem du weißt dass es existiert nicht auf dem Diagramm ist, filtert etwas es heraus, und es nimmt seine Zahlen mit.
Prüfung vier: verdächtig flache oder runde Durchschnitte
Das ist der Liebling des Detektivs, also bekommt sie etwas mehr Raum.
Warum flach und rund ein Warnsignal ist
Echte Daten sind klumpig. Echte Durchschnitte landen auf sperrigen Zahlen wie 97,3 und 104,8, denn sie sind der Rückstand von hunderten unordentlichen echten Werten. Wenn ein Durchschnitt genau auf einer runden Zahl sitzt, oder eine Spalte von Durchschnitten über Gruppen die sich unterscheiden sollten verdächtig flach ist, sei misstrauisch. Flach und rund heißt meist dass irgendwo ein Standardwert für fehlende Daten eingesetzt wurde. Ein Haufen Datensätze mit demselben Platzhalter Alter, oder demselben Standardpreis, zieht eine ganze Verteilung zu einem falschen Zentrum und lässt sie ruhig und gesund aussehen.
Der Test der den Mittelwert schlägt
Der Mittelwert allein versteckt das, also schau dir auch die Streuung an. Das einfachste ehrliche Maß für Streuung ist die Standardabweichung, der typische Abstand eines Werts vom Mittelwert.
Du musst sie nicht von Hand rechnen. Du brauchst die Intuition: echte Geschäftsdaten haben fast nie eine winzige Streuung. Wenn eine Spalte von Preisen eine Standardabweichung nahe null hat, oder jede Gruppe denselben Mittelwert auf den Cent postet, hat jemand die Leerwerte mit einem Standardwert gefüllt und das Leben aus ihnen herausgeplättet. Den Mittelwert mit dem Median zu vergleichen hilft auch. Wenn ein Standardwert hineingestopft wurde, sitzt der Median oft genau auf dem Platzhalter während der Mittelwert driftet, und der Abstand zwischen ihnen ist der Fingerabdruck der Füllung. Ruhige Daten sind oft Daten die still überschrieben wurden.
Prüfung fünf: kaputte UTMs und uneinheitliche Benennung
Das Symptom
Öffne deine Traffic Quellen und lies sie einfach. Du wirst Facebook, facebook, FB, fb und fb ads finden, alle beschreiben denselben Kanal, jeder als eigene Sache gezählt, jeder teilt deine Zahlen in kleinere und weniger vertrauenswürdige Häufchen.
Die Ursache und warum sie zählt
Nichts davon wirft einen Fehler. Die Maschine behandelt zwei Schreibweisen als zwei Wahrheiten, also wird jede Variante zu ihrer eigenen Zeile, und der Kanal um den es dir eigentlich geht ist über fünf davon verstreut. Du wirst UTMs mit Tippfehlern finden, Kampagnen die nie getaggt wurden und in direkt oder nicht zugeordnet sitzen, und dasselbe Produkt auf drei Arten geschrieben. Der Schaden ist stille Zersplitterung genau der Gruppierungen auf denen du Entscheidungen treffen willst. Ein Kanal der dein Ziel klar erreichen würde wenn seine fünf Schreibweisen zusammengezählt wären sieht stattdessen aus wie fünf Underperformer, und du kappst den einen der tatsächlich funktioniert hat.
Schneller Test
Lies die rohe Liste der Quell und Kampagnenlabels, nicht das ordentliche Diagramm, und jage dieselbe Sache in unterschiedlicher Kleidung. Uneinheitliche Benennung ist ein Datenqualitätsproblem in Verkleidung, und die Lösung ist eine Namenskonvention die an der Quelle durchgesetzt wird, nicht ein manuelles Aufräumen jeden Monat.
Prüfung sechs: sind die Daten überhaupt frisch
Die letzte, und Leute vergessen sie ständig.
Symptom, Ursache, Test
Das Symptom sind Zahlen die sich eingefroren anfühlen, ein Diagramm das am Donnerstag genauso aussieht wie am Montag und du kannst nicht sagen ob das Geschäft wirklich so flach lief oder die Daten einfach aufgehört haben sich zu bewegen. Die Ursache ist eine kaputte Pipeline die still versagt hat, sodass der letzte gute Ladevorgang einfach dasitzt und aktuell aussieht. Der Test ist den Zeitstempel zu finden der dir sagt wann diese Daten zuletzt aktualisiert wurden, und wenn es keinen auf dem Dashboard gibt, ist dieses Fehlen selbst die Markierung.
Ein Dashboard ohne Aktualitätsanzeige bittet dich darauf zu vertrauen dass jede Pipeline dahinter heute erfolgreich gelaufen ist, was viel Vertrauen ist. Veraltete Daten sind die heimtückischste falsche Zahl von allen, denn sie waren korrekt, gestern. Eine Pipeline brach am Dienstag, die Zahlen froren ein, und das Diagramm zeigte weiter die Welt vom Dienstag als wäre sie die von heute. Alle trafen weiter Entscheidungen darauf. Wisse immer wie alt deine Daten sind, und setz dieses Alter auf den Bildschirm wo du es sehen kannst.
Die Hosentaschen Fassung
Hier das ganze Audit als Tabelle die du neben den Bildschirm legen kannst. Symptom links, der übliche Schuldige in der Mitte, der zehn Sekunden Test rechts.
| Symptom | Wahrscheinliche Ursache | Schneller Test |
|---|---|---|
| Durchschnitt sieht zu niedrig aus | Leerwerte als Null gezählt | Gesamtzeilen mit befüllten Zeilen vergleichen |
| Summe höher als die Quelle | Doppelt gezählte Zeilen aus einem Join | Gegen die Rohtabelle abgleichen |
| Ein bekanntes Segment fehlt | Stiller Filter oder Namensfehler | Alle Segmente auflisten, auf Lücken prüfen |
| Durchschnitte seltsam flach oder rund | Standardwert füllt Nullwerte | Auf die Streuung schauen, nicht nur den Mittelwert |
| Gleicher Kanal vielfach geteilt | Kaputte UTMs, uneinheitliche Benennung | Rohquelle und Kampagnenlabels lesen |
| Zahlen fühlen sich eingefroren an | Veraltete Daten, kaputte Pipeline | Den Zeitstempel der letzten Aktualisierung finden |
Keine dieser Prüfungen braucht einen Spezialisten. Sie brauchen jemanden der bereit ist einem ordentlichen Diagramm für zehn Minuten zu misstrauen. Diese Person kannst du sein.
Ein durchgerechneter Mini Fall: zehn Minuten auf einem echt aussehenden Dashboard
Lass mich die ganze Routine an einem illustrativen Dashboard zusammensetzen, damit du siehst wie sich die Markierungen zu einer Geschichte verketten. Stell dir einen Shop Inhaber vor der an einem Montag seinen Wochenbericht öffnet. Alles ist grün. Hier sind die zehn Minuten.
Minute eins, abgleichen. Das Dashboard sagt 1500 Bestellungen, die rohe Bestelltabelle sagt 500. Faktor drei, also zählt ein auffächernder Join dreifach, wahrscheinlich auf Versandzeilen. Markierung eins: jede Zählung und jede Umsatzzahl auf dieser Seite ist dreifach aufgebläht bis das Gegenteil bewiesen ist.
Minute drei, Leerwerte. Gesamte Bestellzeilen 500, Zeilen mit einem befüllten Wert 400. Hundert Leerwerte, und der durchschnittliche Bestellwert wird über alle 500 genommen. Markierung zwei: der Aushängeschild Durchschnitt ist abgesenkt, und mit ihm jeder Plan der auf ihn geeicht ist.
Minute fünf, Segmente. Die Kanalaufschlüsselung listet bezahlte Suche, E Mail und direkt, aber der Inhaber weiß dass es einen gesunden Affiliate Kanal gibt der einfach nicht auf der Liste steht. Markierung drei: ein Segment ist herausgefallen, sein Umsatz fehlt in den Summen, und der Hinweis war eine Summe die still geschrumpft ist.
Minute sieben, Flachheit. Die durchschnittliche Lieferzeit liest sich als genau 3,0 Tage für jede Region, auf eine Stelle, überall identisch. Echte Lieferzeiten sind nie so ordentlich. Markierung vier: ein Standardwert von drei Tagen wurde in die Leerwerte gestopft und hat die ganze Verteilung geplättet.
Minute neun, Benennung. Die Quellliste zeigt google, Google und google cpc als drei Zeilen. Markierung fünf: ein Kanal über drei Schreibweisen verstreut, jede sieht schwächer aus als der echte kombinierte Kanal.
Minute zehn, Aktualität. Es gibt nirgends auf der Seite einen Zeitstempel der letzten Aktualisierung. Markierung sechs: niemand kann sagen ob das Montags Daten sind oder die vom letzten Dienstag.
Sechs Markierungen in zehn Minuten auf einem Dashboard das makellos aussah. Achte auf die Form davon. Nicht eine Markierung hat einen Fehler geworfen, nicht ein Diagramm sah kaputt aus, und der Inhaber hatte monatelang auf allen sechs Entscheidungen getroffen. Das ist der Sinn der Routine. Sie findet die Falschheit die dafür gemacht ist nicht gefunden zu werden.
Häufige Fehler wenn du das laufen lässt
Ein paar Fallen in die ich Leute tappen sehe sobald sie anfangen zu prüfen, damit du sie überspringen kannst.
Die erste ist das Diagramm zu reparieren statt die Ursache. Du entdeckst die Leerwerte, du fügst dem einen Diagramm einen Filter hinzu der sie ausschließt, die Zahl sieht richtig aus, und du gehst weiter. Drei andere Berichte lesen dasselbe Feld noch auf dieselbe kaputte Art, und nächsten Monat baut jemand einen vierten. Du hast ein Symptom repariert und die Krankheit gelassen.
Die zweite ist einer Zahl zu vertrauen weil sie deiner Erwartung entspricht. Bestätigung ist keine Überprüfung. Eine falsche Zahl die zufällig dort landet wo du gehofft hast ist am schwersten von allen zu fangen, denn du hast jeden Grund nicht hinzusehen. Prüfe die Zahlen die dir gefallen mindestens so hart wie die die dir nicht gefallen.
Die dritte ist einmal zu prüfen und es für erledigt zu erklären. Datenqualität ist kein Zustand den du erreichst, sie ist eine Eigenschaft die zerfällt. Eine Quelle wird umbenannt, ein Tag wird entfernt, ein neuer Kanal geht ungetaggt online, und das saubere Dashboard von gestern ist der Lügner von heute. Das Audit ist eine Routine, kein Projekt.
Die vierte ist Präzision mit Genauigkeit zu verwechseln. Eine Zahl mit zwei Nachkommastellen fühlt sich vertrauenswürdiger an als eine runde, aber die Nachkommastellen beschreiben die Rechnung, nicht die Wahrheit der Eingaben. Du kannst einen falschen Durchschnitt auf beliebig viele Nachkommastellen rechnen. Präzision ist wie ordentlich die Summe ist. Genauigkeit ist ob die Eingaben echt waren. Lass dich von den Nachkommastellen nicht aus dem Audit reden.
Warum die ordentlichen die gefährlichen sind
Der Instinkt den Leute haben ist dem sauberen Dashboard zu vertrauen und dem unordentlichen zu misstrauen. Es ist genau andersherum. Ein unordentliches Dashboard, das das offensichtliche Fehler und leere Felder wirft, hält dich ehrlich, denn du siehst dass es kaputt ist also gehst du prüfen. Das ordentliche, alles grün, jedes Diagramm gerendert, jede Zahl rund, ist das das dich selbstbewusst über eine Klippe führt.
Das lohnt sich zu bedenken. Der Glanz eines Dashboards sagt dir nichts darüber ob seine Zahlen wahr sind. Glanz ist eine Design Eigenschaft. Wahrheit ist eine Daten Eigenschaft. Sie haben fast nichts miteinander zu tun, und wir verwechseln sie ständig weil eine selbstbewusste Darstellung sich wie eine selbstbewusste Tatsache anfühlt. Ein schönes Diagramm einer falschen Zahl ist einfach eine falsche Zahl im hübschen Anzug.
Deshalb würde ich lieber dass du dieses zehn Minuten Audit auf einem Dashboard laufen lässt das perfekt aussieht als auf einem das kaputt aussieht. Das kaputte reparierst du sowieso. Das perfekte ist das das still deine Entscheidungen für dich trifft.
Was du tust wenn du eine gefunden hast
Wenn eine Prüfung anschlägt, widersteh dem Drang einfach das Diagramm zu flicken. Die falsche Zahl auf dem Bildschirm ist ein Symptom, und die interessante Frage ist immer wie weit oben die Ursache lebt, und was sie sonst schon berührt hat. Wenn Leerwerte in diesem Durchschnitt als Null gezählt werden, tun sie es fast sicher auch in den drei anderen Berichten die dasselbe Feld lesen. Repariere es an der Quelle, einmal, dort wo die Daten geformt werden, nicht an der Oberfläche in jedem Diagramm. Eine an der Quelle reparierte Zahl bleibt repariert. Eine am Diagramm reparierte Zahl bricht wieder sobald jemand den nächsten Bericht baut.
Hier ist die Reparatur Entscheidung als Fluss, damit du die Reparatur immer so weit nach oben schiebst wie sie geht.
Das ist der ehrliche Grund warum ich Inhaber immer wieder zu Systemen und Shops lenke die sie tatsächlich kontrollieren, mit Daten in die sie hineingreifen und die sie abgleichen können, statt zu gemieteten Dashboards die dir eine hübsche Zahl geben und keine Möglichkeit sie zu prüfen. Du kannst nicht prüfen was du nicht öffnen kannst. Wenn dein Reporting eine Blackbox ist die dir einen Durchschnitt zeigt und sich weigert dir die Zeilen dahinter zu zeigen, wirst du gebeten auf Vertrauen zu bauen, und dieser ganze Beitrag ist ein Argument gegen das Bauen auf Vertrauen.
Wenn du ein zweites Paar Augen auf deinen eigenen Dashboards willst, das genau diese Art Audit laufen lässt und dann die Ursachen an der Quelle repariert statt die Diagramme zu übertünchen, ist das genau die Daten und Analytik Arbeit die ich mache. Bring deinen unordentlichsten Bericht mit. Die unordentlichen sind ehrlich. Es sind die ordentlichen um die ich mir Sorgen mache.
Wie du das nächste Woche anwendest
Behandle das nicht als einmaligen Frühjahrsputz. Mach eine kleine stehende Gewohnheit daraus und es zahlt sich jede Woche für fast keinen Aufwand aus.
Fang damit an eine Zahl zu wählen die tatsächlich eine Entscheidung treibt, die an der dein Budget oder deine Preise hängen, und gleiche sie einmal pro Woche gegen eine Quelle außerhalb des Dashboards ab. Nur eine Zahl, ein Abgleich, jede Woche. Als Nächstes, füge jedem Dashboard das dir gehört einen Zeitstempel der letzten Aktualisierung hinzu, ganz oben wo du ihn nicht übersehen kannst, damit Aktualität aufhört eine Frage zu sein die du vergisst zu stellen. Dann, wann immer du einen Bericht baust oder erbst, schreib für jede Kennzahl auf wie Leerwerte behandelt werden, denn in dem Moment in dem du es aufschreiben musst entdeckst du meist dass du es nicht weißt, und nicht zu wissen ist das ganze Risiko.
Einige dich auf eine Namenskonvention für Kanäle und Kampagnen und setz sie dort durch wo die Daten entstehen, nicht wo sie gelesen werden, damit du nie wieder dieselben fünf Schreibweisen von Hand aufräumst. Und einmal im Quartal, lauf das volle zehn Minuten Audit von oben auf deinem wichtigsten Dashboard, gerade weil es das ist dem du am meisten vertraust und deshalb das das du am wenigsten prüfst. Die Gewohnheit ist klein. Die Entscheidungen die sie schützt sind es nicht.
Die eine Gewohnheit die du mitnehmen sollst
Wenn du eine einzige Sache hiervon mitnimmst, mach sie zu einem Reflex. Bevor du irgendeine Entscheidung auf einer Zahl triffst, stell ihr eine unhöfliche Frage: wie könntest du falsch sein? Zählst du Leerwerte als Null, zählst du einen Join doppelt, fehlt dir ein Segment, bist du flach weil dich jemand mit einem Standardwert gefüllt hat, bist du veraltet? Zehn Minuten Misstrauen, als Routine gelaufen, fangen mehr schlechte Entscheidungen ab als jede noch so ausgefeilte Analyse auf Daten die du nie geprüft hast. Das Ziel ist kein hübscheres Dashboard. Das Ziel ist eine Zahl auf die du dir das Recht zu vertrauen tatsächlich verdient hast.