16 Wege, wie Datenprojekte scheitern, bevor sie beginnen
Kurz gesagt
Niveau: Einstieg
Die meisten Datenprojekte scheitern beim Zuschnitt, nicht am Modell. Bevor du eines finanzierst, benenne die Entscheidung, die es verändert, und prüf, ob du die Daten für diesen Zweck rechtmäßig nutzen darfst. Dann stell sechzehn Fragen: Hätten wir diese Eingabe zum Vorhersagezeitpunkt, was passiert ohne das stärkste Merkmal, was erreicht ein Modell, das nichts tut, sind die Zahlen Out of Sample, wie oft wurde der Testdatensatz benutzt, was fehlt in der Stichprobe, was kostet ein Fehlalarm gegen einen übersehenen Fall, wem gehört der Datenfluss und wer handelt auf die Ausgabe. Die Gelassenheit der Antworten verrät mehr als die Antworten.
Die meisten Datenprojekte, die scheitern, scheitern nicht am falschen Modell. Sie scheitern Monate früher, in dem Meeting, in dem niemand aufgeschrieben hat, welche Entscheidung das Ding verändern soll. Das hier ist eine Checkliste für dich, wenn ein Angebot vor dir liegt: zuerst das rechtliche Tor, dann sechzehn Fehler, gruppiert nach ihrem Versteck, jeweils mit der Frage, die ihn erwischt, und dem, was er kostet, eine Rechnung zu Genauigkeit und erwarteten Kosten und ein Entscheidungsbaum für finanzieren, reparieren oder stoppen.
Warum die meisten Datenprojekte schon beim Zuschnitt sterben
Die meisten Datenprojekte, die scheitern, scheitern nicht, weil jemand das falsche Modell gewählt hat. Sie scheitern Monate früher, in dem Meeting, in dem niemand aufgeschrieben hat, welche Entscheidung das Ding eigentlich verändern soll. Sobald ein Modell trainiert wird, steckt der Fehler längst in der Frage, in den Daten oder im Versprechen, und keine noch so clevere Mathematik holt ihn später wieder heraus.
Das ist nicht nur meine Meinung. RAND hat 2024 erfahrene Data Scientists und Engineers befragt, warum KI Projekte scheitern. Die erste der fünf Grundursachen: Die Beteiligten verstehen falsch oder kommunizieren unklar, welches Problem das Projekt überhaupt lösen soll. Dazu kommen fehlende oder schlechte Daten, zu wenig Infrastruktur, die Jagd nach der neuesten Technik statt nach einem echten Problem und Probleme, die für die Technik schlicht zu schwer sind.1 Du wirst dramatische Ausfallquoten für Daten und KI Projekte lesen. RAND selbst gibt nur eine fremde Schätzung von "mehr als 80 %" wieder, und hinter den meisten runden Zahlen, die herumgereicht werden, konnte ich keine Studie finden. Ich stütze mich hier deshalb auf keine davon. Das Muster zählt mehr als die Prozentzahl.
Jetzt der unbequeme Teil. Am Tag, an dem der Fehler passiert, sieht ihn niemand. Keiner verlässt türknallend das Meeting. Alle nicken, das Budget wird unterschrieben, und das Projekt läuft wochenlang gesund aussehend weiter. Die Rechnung kommt im vierten Monat, wenn das Modell, das im Labor glänzend abgeschnitten hat, draußen nichts Brauchbares tut, das Geld ausgegeben und das Vertrauen weg ist. Genau diese Lücke zwischen dem Fehler und seinem Sichtbarwerden ist der Grund, warum eine Checkliste das Bauchgefühl schlägt. Du spürst diese Fehler nicht kommen. Du musst nach ihnen fragen.
Das hier ist also eine Checkliste vor dem Abflug, für dich, wenn ein Angebot oder ein Pitch Deck vor dir liegt und du vor der Unterschrift wissen willst, ob das Projekt still zum Scheitern verurteilt ist. Programmieren musst du dafür nicht. Du musst sechzehn unbequeme Fragen stellen und beobachten, wie entspannt sie beantwortet werden. Ein guter Partner für Data Science hat die Antworten parat. Ein glatter wechselt das Thema, weil mehrere der klassischen Fehler genau das sind, was ein polierter Pitch verstecken soll.
Die nullte Frage, vor allen anderen
Vor den sechzehn kommt eine Frage, die gern übersprungen wird: Welche Entscheidung verändert das hier, und was machen wir je nach Ergebnis anders? Wenn niemand im Raum die Entscheidung benennen kann, hast du kein Datenprojekt, sondern ein Datenhobby, und Hobbys gehören nicht auf eine Rechnung.
Bitte den Anbieter, diesen Satz zu vollenden: "Sobald das live ist, macht die Person, der dieser Prozess gehört, X statt Y." Schafft er das in einem Atemzug, gut. Greift er zu Wörtern wie Insight, Transparenz oder Befähigung, wird dir ein Gefühl verkauft, keine Entscheidung. Jemand, der freigibt, ablehnt, anruft, nachbestellt, rabattiert oder zurückhält, das ist eine Handlung, und nur Handlungen spielen ein Datenbudget wieder ein.
Die Frage vor der nullten: Darfst du diese Daten überhaupt nutzen
Es gibt noch ein Tor, und das ist ein rechtliches. Nach der DSGVO dürfen personenbezogene Daten, die für einen Zweck erhoben wurden, nicht für einen neuen Zweck weiterverarbeitet werden, der mit dem ursprünglichen unvereinbar ist (Zweckbindung, Artikel 5 Absatz 1 Buchstabe b).2 Kundendaten, die du für die Lieferung gesammelt hast, sind nicht automatisch Futter für ein Modell, das über Kredit entscheidet. Artikel 22 ergänzt: Eine Person hat das Recht, keiner ausschließlich automatisierten Entscheidung unterworfen zu werden, die ihr gegenüber rechtliche Wirkung entfaltet oder sie ähnlich erheblich beeinträchtigt, außer eine Ausnahme greift und Schutzmaßnahmen wie das Eingreifen eines Menschen sind vorhanden.3 Der Gerichtshof der EU hat im Dezember 2023 im Fall SCHUFA entschieden, dass schon das Berechnen eines Scorewerts eine solche Entscheidung sein kann, wenn ein Kreditgeber maßgeblich darauf abstellt.4 In Österreich wacht darüber die Datenschutzbehörde.
Die KI Verordnung der EU stuft außerdem KI zur Prüfung der Kreditwürdigkeit natürlicher Personen oder zur Ermittlung ihrer Bonität als hochriskant ein (Anhang III, Nummer 5 Buchstabe b).5 Nach dem Digital Omnibus zur KI, im Juli 2026 im Amtsblatt veröffentlicht, gelten die Pflichten für diese Systeme aus Anhang III ab dem 2. Dezember 2027 statt ab dem 2. August 2026.6 Frag den Anbieter, was davon greift und wer es freigegeben hat. Lautet die Antwort "die Daten sind ja schon da, also dürfen wir sie nutzen", halt an und hol dir zuerst Rat.
So liest du die sechzehn
Jeder Fehler unten hat drei Teile: den Fehler in einfachen Worten, ein Bild davon, wie er aussieht (die Firmen sind erfunden, die Mechanismen echt), und die Frage, die ihn erwischt, samt dem, was er kostet, wenn er durchrutscht. Lies die Kosten genau. Inhaber bewerten ein Datenprojekt nach dem, was es einbringen könnte, und unterschätzen, was ein still kaputtes Projekt an Arbeitszeit, Vertrauen und schlechteren Entscheidungen durch eine selbstsichere falsche Antwort kostet.
Wo schon die Frage falsch ist
1. Hinter dem Projekt steht keine Entscheidung
Die Arbeit startet bei "wir haben jede Menge Daten, was lernen wir daraus" statt bei einer Wahl, die jemand treffen muss. Heraus kommen Dashboards, die niemand öffnet.
Stell dir einen Großhändler in Linz vor, der eine Kundensegmentierung beauftragt. Elegant, sieben Cluster, schöne Farben. Frag, welcher Cluster verändert, was der Vertrieb am Montag tut, und der Raum wird still, weil niemand auch nur einen Cluster mit einer Handlung verbunden hat. Das Ganze ist Tapete.
So erwischst du ihn: Frag, welche Handlung sich am Montagmorgen je nach Ergebnis ändert. Kommt nur ein Schulterzucken, hör hier auf. Was er kostet: den Bau, und dazu ein Team, das jetzt glaubt, Datenprojekte seien Dekoration, und sich still gegen das nächste sträubt, das funktioniert hätte.
Wo die Daten dich anlügen
2. Daten aus der Zukunft, um die Zukunft vorherzusagen
Der Trainingsdatensatz enthält Informationen, die erst nach dem Moment existieren, den du vorhersagen willst. Im Labor sieht das Modell brillant aus, draußen ist es nutzlos.
Stell dir einen Grazer Paketdienst vor, der vorhersagt, ob ein Paket zu spät kommt, und unter den Eingaben steht die Zahl der gescheiterten Zustellversuche. Die kennst du erst, wenn das Zeitfenster vorbei ist, zum Zeitpunkt der Vorhersage gibt es sie noch nicht. Im Training lässt sie das Modell fast perfekt aussehen.
So erwischst du ihn: Frag bei jeder Eingabe "hätten wir diesen Wert wirklich in dem Moment, in dem wir vorhersagen". Wenn nicht, ist es eine Zeitmaschine, kein Merkmal. Was er kostet: Du merkst es nach dem Livegang, wenn die Laborwerte zu Rauschen zerfallen, nachdem du Bau und Einführung schon bezahlt hast.
3. Leakage für Können halten
Ein naher Verwandter: Eine Spalte, die in Wahrheit die verkleidete Antwort ist, schleicht sich in die Eingaben, und das Modell schneidet bei etwas viel zu gut ab, das schwer sein müsste. Das ist kein Anfängerfehler. Kapoor und Narayanan aus Princeton fanden Leakage Fehler in 329 veröffentlichten Arbeiten aus 17 Fachgebieten, die maschinelles Lernen nutzen.7 Wenn das begutachteter Forschung passiert, passiert es einem Pitch Deck erst recht.
Stell dir ein Kreditrisikomodell vor, das ein Inkasso Kennzeichen enthält, ein Feld, das erst gesetzt wird, wenn ein Kunde schon ausgefallen ist. Oder ein Kündigungsmodell mit Werten in den hohen Neunzigern außerhalb der Trainingsdaten, mit einem Feld wie "Tage seit Kontoschließung" unter den Eingaben. Nur gekündigte Kunden haben ein geschlossenes Konto, das Feld ist also die Antwort auf der Rückseite der Karte.
So erwischst du ihn: Sei misstrauisch bei jedem einzelnen Merkmal, das das ganze Modell trägt. Lass das stärkste Merkmal entfernen und dir den Wert noch einmal zeigen. Ein Modell mit Leakage bricht ein. Ein echtes zuckt kaum. Was er kostet: einen riesigen Erfolg im Pilot, den Rollout und dann gewöhnliche Entscheidungen mit falscher Sicherheit, schlimmer als gar kein Modell, weil jetzt alle ihm vertrauen.
Wo ein seltenes Ereignis den Wert täuscht
4. Die Grundrate ignorieren
Wenn das, was dich interessiert, selten ist, lügt die Trefferquote. Sind zehn von tausend Bestellungen Betrug, ist ein Modell, das gar nichts markiert, zu 99 % genau und erwischt keinen einzigen Fall. Die Grundrate ist der Anteil positiver Fälle, bevor irgendein Modell hinschaut (siehe Grundraten in den Grundlagen).
Stell dir ein Zahlungsteam vor, dem ein Betrugsmodell mit "98 % Genauigkeit" gezeigt wird, und das begeistert ist, bis jemand fragt, wie viele echte Betrugsfälle es erwischt. Fast keine, weil es gelernt hat, dass Nein meistens richtig ist.
So erwischst du ihn: Frag, welcher Anteil der Fälle positiv ist, und dann, welchen Wert ein Modell erreicht, das nichts tut. Wissen sie es nicht, haben sie nicht darüber nachgedacht. Was er kostet: Du zahlst für Genauigkeit und bekommst ein Modell, das immer Nein sagt.
5. Auf den Trainingsdaten testen
Das Modell wird an genau den Beispielen benotet, an denen es gelernt hat, natürlich schneidet es gut ab. Es hat auswendig gelernt, nicht verstanden.
Stell dir eine Absatzprognose mit 96 % vor, die das nächste Quartal meilenweit verfehlt, weil sie am selben Jahr bewertet wurde, an dem sie angepasst wurde. Das misst Gedächtnis, nicht Können.
So erwischst du ihn: Achte auf die Worte "Out of Sample". Du willst hören, dass die Zahlen aus Daten stammen, die das Modell beim Training nie gesehen hat. Was er kostet: Jede Zahl im Angebot ist aufgeblasen, und du planst Personal und Lager gegen ein Versprechen, das nie geprüft wurde.
6. In den Testdatensatz spähen
Subtiler als der vorige. Das Team probiert fünfzig Ideen, prüft jede am Testdatensatz, behält die beste und hat den Testdatensatz damit von Hand angepasst. Dwork und andere haben 2015 in Science gezeigt, dass ein Holdout, der auf diese adaptive Weise immer wieder zur Steuerung der Analyse genutzt wird, selbst überangepasst werden kann, sein Wert ist dann keine ehrliche Schätzung mehr.8
So erwischst du ihn: Frag, wie oft der finale Testdatensatz angeschaut wurde, und ob ein eigener, unberührter Holdout für ganz am Schluss aufgehoben ist. Was er kostet: einen Wert, der um einen unbekannten Betrag zu optimistisch ist, und genau mit dieser einen Zahl sollst du die ganze Investition bemessen.
Wo die Stichprobe nicht ist, was du denkst
7. Survivorship und Stichprobenverzerrung
Die Daten enthalten nur die Überlebenden. Du untersuchst die Kunden, die geblieben sind, und ziehst Lehren, die für die Gegangenen nie galten.
Stell dir eine Studie zur Kundenbindung vor, gebaut nur auf aktuellen Kunden, die erklären soll, was Menschen hält. Die Gegangenen, genau die Gruppe, die du verstehen musst, stehen gar nicht in der Tabelle, und jede Schlussfolgerung handelt von den falschen Leuten.
So erwischst du ihn: Frag, was in der Stichprobe fehlt, nicht nur, was drin ist. Was er kostet: Du optimierst kräftig für die Leute, die nie gehen wollten, und lernst nichts über die, die wirklich gehen.
8. Korrelation mit Kausalität verwechseln
Zwei Dinge bewegen sich gemeinsam, und das Deck legt nahe, dass der eine Hebel den anderen bewegt. Eisverkauf und Badeunfälle, für immer (siehe Korrelation in den Grundlagen).
Stell dir einen Bericht vor, nach dem Kunden mit der App mehr ausgeben, samt der Andeutung, dass mehr Ausgaben folgen, wenn alle auf die App wechseln. Vielleicht sind es einfach die ohnehin treuen Kunden, die sich die App installieren.
So erwischst du ihn: Frag, ob tatsächlich eingegriffen wurde oder ob alles nur beobachtet ist. Gab es keinen echten Test, lies jedes "treibt" und "verursacht" als "geschieht zugleich mit". Was er kostet: Marketingbudget, mit dem du ein Verhalten erzwingst, das Symptom von Wert war, nicht seine Ursache.
9. Über den Rand der Daten hinaus extrapolieren
Das Modell hat nur Bestellungen zwischen 10 und 500 € gesehen und soll jetzt eine Ausschreibung über 50.000 € beurteilen. Es antwortet selbstsicher und falsch.
So erwischst du ihn: Frag, welchen Bereich jede Eingabe im Training abgedeckt hat und was das Modell tut, wenn ein Fall außerhalb liegt. Was er kostet: eine selbstsichere falsche Antwort bei deinen größten, seltensten und wichtigsten Fällen, genau denen, die ein Mensch hätte prüfen sollen.
Wo das Ziel still falsch ist
10. Eine Kennzahl optimieren, die nicht das Ziel ist
Das Team maximiert Genauigkeit oder Klicks, weil sie leicht zu messen sind, während das Geschäft an Marge, Kundenwert oder daran hängt, die besten Kunden nicht zu nerven.
Stell dir eine Empfehlungsmaschine vor, auf Klicks getrimmt, die lernt, reißerische Artikel mit wenig Wert nach oben zu spielen. Die Klicks steigen, die Marge sinkt leise.
So erwischst du ihn: Lass die Kennzahl in einer Zeile aufschreiben und frag, ob ein Modell mit perfektem Wert darauf trotzdem Geld verlieren könnte. Wenn ja, ist es die falsche Kennzahl. Was er kostet: genau das, was du gemessen hast, und das ist nicht das, was du wolltest, meist schon in großem Maßstab.
11. Kein Preis für Fehler
Jeder Fehler wird gleich behandelt, obwohl er es offensichtlich nicht ist. Eine betrügerische Bestellung zu übersehen und einen treuen Kunden zu blockieren kostet völlig Unterschiedliches, und ein Modell, das beides gleich wertet, optimiert für eine Welt, in der du nicht lebst.
So erwischst du ihn: Frag, was ein Fehlalarm kostet und was ein übersehener Fall kostet. Du willst zwei verschiedene Zahlen, in Euro. Was er kostet: teure Fehler, so unbekümmert gemacht wie harmlose Kleinigkeiten. Die Rechnung dazu kommt weiter unten.
Wo die Daten schmutziger sind, als jemand zugibt
12. Annehmen, die Daten seien sauber
Niemand hat sich die Rohdaten angesehen. Datumsangaben in drei Formaten, Preise in zwei Währungen ohne Kennzeichnung, ein Länderfeld zum Freitippen mit einem Dutzend Schreibweisen desselben Orts. Das Modell lernt das Chaos treu mit.
Stell dir ein Verkaufsmodell vor, das leere Preisfelder als Preis null liest, sodass eine Ladung fehlender Werte ihm beibringt, eine ganze Produktlinie sei gratis. Die Grafik sieht gut aus, bis jemand eine verrückte Vorhersage zu ihrer Quelle zurückverfolgt.
So erwischst du ihn: Lass dir das Profiling zeigen, also Anteil fehlender Werte, Duplikate, Wertebereiche und Ausreißer. Steht kein Profiling im Plan, ist das das Erste, was dazugehört. Was er kostet: Müll, treu gelernt, plus Wochen, in denen ein Chaos entdeckt wird, das ein Tag Profiling aufgedeckt hätte. Mein Artikel dazu, wie viele Daten du wirklich brauchst, behandelt die Mengenseite derselben Frage.
13. Überanpassung mit zu vielen Stellschrauben
Hunderte Merkmale, wenige Zeilen und ein Modell, das flexibel genug ist, Rauschen auswendig zu lernen. Es passt perfekt zur Vergangenheit und sagt die Zukunft schlecht voraus.
Stell dir ein Kündigungsmodell mit vierhundert Merkmalen und ein paar hundert Kunden vor. Es kennt praktisch jeden Kunden auswendig, glänzt auf der Historie und versagt bei jedem neuen.
So erwischst du ihn: Frag nach dem Verhältnis von Beispielen zu Merkmalen und ob das Modell bewusst einfach gehalten wurde. Komplexität ist hier ein Warnsignal, keine Tugend. Was er kostet: ein Modell, das auf der Folie am stärksten und im Betrieb am schwächsten ist.
Wo die Welt sich bewegt und niemand zuständig ist
14. Concept Drift ignorieren
Die Welt, in der das Modell gelernt hat, hat sich weitergedreht. Preise haben sich geändert, ein Mitbewerber ist gestartet, die Saison hat gewechselt, und die Muster vom letzten Jahr gelten nicht mehr, ohne dass es jemand merkt. Sculley und andere bei Google beschreiben das in ihrer Arbeit über versteckte technische Schulden in Systemen mit maschinellem Lernen: Veränderungen in der Außenwelt und fragile Datenabhängigkeiten gehören zu den Gründen, warum echte Systeme hohe laufende Wartungskosten tragen.9
So erwischst du ihn: Frag, wie oft das Modell neu trainiert wird und wie du erfährst, dass es veraltet ist, statt es an einem schlechten Quartal zu merken. Was er kostet: einen langsamen, stillen Verfall, den du erst Monate später bemerkst.
15. Niemand ist für Daten oder Pipeline zuständig
Die Daten liegen in einer Tabelle auf irgendeinem Laptop oder in einem System, das ein ausgeschiedener Mitarbeiter in Eile aufgesetzt hat. Wenn der Datenfluss bricht, und das wird er, ist niemand zuständig.
Stell dir einen nächtlichen Export vor, den ein früherer Analyst auf seinem eigenen Rechner gebastelt hat. Er läuft, bis der Laptop für den Nachfolger neu aufgesetzt wird, und das Modell bewertet zwei Wochen lang leere Daten, bevor es jemand merkt.
So erwischst du ihn: Frag, wem jede Datenquelle gehört, wer um sieben Uhr früh angerufen wird, wenn sie stoppt, und ob das irgendwo aufgeschrieben ist. Was er kostet: zwei Wochen Entscheidungen auf veralteten oder leeren Daten. Mein Artikel Data Engineer, Data Scientist, Data Analyst: wer macht was erklärt, welche Rolle für welchen Teil zuständig ist.
16. Kein Plan, auf die Antwort zu reagieren
Die letzte Meile fehlt. Die Vorhersage landet in einem Bericht, der in keinen Arbeitsablauf eingebunden ist, also ändert sich nichts, und das Projekt gilt als gescheitert, obwohl das Modell in Ordnung war.
Stell dir einen guten Risikowert vor, der jeden Montag als PDF Anhang kommt und den das zuständige Team nie öffnet, weil er in keinem Werkzeug steckt, das es ohnehin nutzt.
So erwischst du ihn: Frag, wohin die Ausgabe geht und wer oder was automatisch darauf reagiert. Lautet die Antwort "wir schauen es uns an", sickert der Wert schon weg. Was er kostet: den gesamten Wert des Projekts.
Die Kurzreferenz
Druck dir das aus, leg es neben das Angebot und hak dich nach unten durch. Drei Spalten, weil Inhaber die Kosten am ehesten vergessen.
| Fehler | So erwischst du ihn | Was er kostet |
|---|---|---|
| Keine Entscheidung dahinter | Was ändert sich am Montag durch das Ergebnis | Ein Bau, den niemand nutzt |
| Daten aus der Zukunft | Hätten wir den Wert zum Vorhersagezeitpunkt | Laborwerte, die beim Livegang zerfallen |
| Leakage als Können | Stärkstes Merkmal raus, Wert nochmal zeigen | Entscheidungen, denen alle zu Unrecht trauen |
| Grundrate ignoriert | Was erreicht ein Modell, das nichts tut | Ein Modell, das immer Nein sagt |
| Test auf Trainingsdaten | Sind die Zahlen Out of Sample | Aufgeblasene Zahlen, gegen die du planst |
| In den Testsatz gespäht | Wie oft wurde der finale Satz angeschaut | Ein Wert, unbekannt zu optimistisch |
| Survivorship Bias | Was fehlt in der Stichprobe | Lehren über die falschen Leute |
| Korrelation als Kausalität | Hat jemand wirklich eingegriffen | Budget für ein Symptom |
| Extrapolation über den Rand | Welchen Bereich deckte jede Eingabe ab | Falsche Antworten bei den größten Fällen |
| Falsche Kennzahl | Kann ein perfekter Wert Geld kosten | Das Gemessene, nicht das Gewollte |
| Kein Preis für Fehler | Fehlalarm gegen übersehenen Fall, in Euro | Teure Fehler ohne Zögern |
| Schmutzige Daten | Zeig mir das Profiling | Müll, treu gelernt |
| Überanpassung | Verhältnis von Zeilen zu Merkmalen | Stark auf der Folie, schwach im Betrieb |
| Concept Drift | Wie oft wird neu trainiert | Stiller Verfall, zu spät bemerkt |
| Keine Zuständigkeit | Wer wird um sieben Uhr angerufen | Wochen auf leeren Daten |
| Kein Plan zu handeln | Wer oder was reagiert auf die Ausgabe | Der ganze Wert bleibt liegen |
Hinter der Genauigkeit versteckt sich ein glatter Pitch
Bei Nummer vier und fünf lassen sich die meisten Inhaber in ein schlechtes Projekt reden, deshalb eine kleine Rechnung. Angenommen, zehn von tausend Bestellungen sind Betrug. Ein Modell, das nichts tut und jede Bestellung durchwinkt, erreicht diese einfache Genauigkeit (siehe Prozente in den Grundlagen):
Dabei ist die Zahl der richtig Positiven (markierte Betrugsfälle), die Zahl der richtig Negativen (durchgewinkte gute Bestellungen) und die Zahl aller Bestellungen. Das Modell, das nichts tut, markiert nichts, also ist , und die Genauigkeit .
Das sind 99 %, und es hat genau null Betrugsfälle erwischt. Führt ein Pitch mit einer einzigen großen Genauigkeitszahl bei einem seltenen Ereignis, sagt dir diese Zahl fast nichts und versteckt womöglich ein Modell, das gelernt hat, immer Nein zu sagen. Frag stattdessen, wie viele der echten Betrugsfälle es findet und wie viele gute Bestellungen es dafür fälschlich blockiert. Diese zwei Zahlen sind die echte Geschichte, und genau die fehlen auf der Folie eines schwachen Angebots.
Das günstigste Modell auf dem Papier kann in Euro das teuerste sein
Nummer zehn und elf verstecken sich gemeinsam, und diese Rechnung legt sie offen. Ein Modell macht zwei Arten von Fehlern. Es schlägt falschen Alarm und markiert etwas, das in Ordnung war, und es übersieht etwas, das es hätte finden sollen. Die beiden kosten fast nie dasselbe.
| Ergebnis | Modell sagt ja | Modell sagt nein |
|---|---|---|
| Tatsächlich ja | gefunden (gut) | übersehen |
| Tatsächlich nein | Fehlalarm | in Ruhe gelassen (gut) |
Nur Fehlalarm und Übersehen tun weh, und sie haben verschiedene Preisschilder. Einen treuen Kunden zu blockieren kann eine wertvolle Beziehung kosten. Eine betrügerische Bestellung zu übersehen kostet vielleicht nur diese Bestellung. Die Zahl, die zählt, sind also die erwarteten Kosten der Fehler, ein Erwartungswert in Geld:
Dabei ist der Preis eines Fehlalarms, die Zahl der Fehlalarme, der Preis eines übersehenen Falls und die Zahl der übersehenen Fälle im selben Zeitraum.
Ein Beispiel mit erfundenen Zahlen: Ein Wiener Shop hat 10.000 Bestellungen im Monat, 100 davon Betrug. Modell A blockiert 300 gute Bestellungen und übersieht 20 Betrugsfälle. Modell B blockiert nur 50 gute Bestellungen, übersieht aber 60 Betrugsfälle. Ein blockierter guter Kunde koste 40 € an Marge und Wohlwollen, ein übersehener Betrug 60 €. Modell A kostet Euro im Monat. Modell B kostet Euro. Modell B übersieht dreimal so viel Betrug und ist trotzdem die bessere Geschäftsentscheidung. Lass jeden Anbieter diese Zeile ausfüllen. Hat er nie einen Fehlalarm gegen einen übersehenen Fall bepreist, hat er eine Zahl optimiert, die mit deiner Gewinn und Verlustrechnung nichts zu tun hat.
Ein kleiner Fall: fünf der sechzehn in einem Projekt
Im echten Leben kommen die Fehler selten einzeln. Hier ein erfundener, aber typischer Fall. Ein Abo Box Händler in Wien, boxclub.example, hat ein Modell, das vorhersagt, welche Abonnenten nächsten Monat kündigen, mit Werten in den niedrigen Neunzigern, und den Plan, markierten Abonnenten einen Halterabatt zu schicken.
Die nullte Frage ist bestanden: Es gibt eine echte Entscheidung, wer einen Rabatt bekommt. Dann schlägt Nummer drei zu. Das stärkste Merkmal ist "Tage seit dem letzten Login", aber wer innerlich schon gekündigt hat, loggt sich zuerst nicht mehr ein, das Merkmal liest also halb die Antwort ab. Nimmt man es heraus, fällt der Wert in die Siebziger. Dann Nummer vier. Nur etwa drei von hundert Abonnenten kündigen in einem Monat, ein Modell, das sagt "niemand kündigt", ist also schon zu 97 % genau, und die stolze Schlagzeile bedeutet fast nichts. Nummer elf wurde übersprungen. Niemand hat den Rabatt bepreist, ein Fehlalarm schenkt also jemandem Geld, der nie gehen wollte, während ein Übersehen einen Abonnenten kostet. Mit Euro auf beiden Seiten liegt die sinnvolle Schwelle viel vorsichtiger als die gewählte. Und am Ende wartet Nummer sechzehn: Die Rabattmails sollten einmal im Monat von Hand aus einer Tabelle gezogen werden, von jemandem, der ohnehin ausgelastet ist.
Das Modell ist nicht das Problem. Der Zuschnitt ist es, an fünf Stellen, und jede lässt sich an einem Nachmittag mit den Fragen oben erwischen. Die Lösung: das Ziel so neu bauen, dass es nur Informationen von vor der Kündigung nutzt, die zwei Fehlerarten bepreisen, die Schwelle nach erwarteten Kosten statt nach Genauigkeit setzen und die Ausgabe direkt ins Mailwerkzeug leiten. Der ehrliche Wert ist niedriger, und das Projekt verdient Geld.
Der Entscheidungsbaum vor der Beauftragung
Bevor auch nur ein Euro fließt, schick das Projekt durch vier Tore.
Leben mit dem Modell: die Schleife, die niemand budgetiert
Der Livegang ist nicht die Ziellinie, sondern der Start einer Schleife, und hier leben Nummer vierzehn und fünfzehn. Jemand muss die Live Werte beobachten, entscheiden, wann das Modell veraltet ist, es mit frischen Daten neu trainieren und die neue Version zurückspielen.
Plan diese Schleife von Anfang an ein und benenne die Person, die sie beobachtet. Ein Angebot, das den Livegang als Ende der Arbeit behandelt, verspricht dir ein Modell, das am ersten Tag am besten ist und jeden Tag danach schlechter.
Die typischen Fehler auf Seite der Inhaber
Bisher zeigt alles auf den Anbieter. Fair ist, dieselbe Ehrlichkeit auf den Käufer zu richten.
Der erste: auf die eine große Zahl hereinfallen. Eine runde, selbstsichere Zahl fühlt sich wie ein Beweis an. Sie ist keiner, und je seltener das Ereignis, desto weniger bedeutet sie. Behandle jeden einzelnen Schlagzeilenwert als Eröffnungsfrage.
Der zweite: Selbstsicherheit mit Kompetenz verwechseln. Ein Anbieter, der nie "da bin ich mir nicht sicher" sagt, ist nicht besser, nur weniger ehrlich. Wer diese Arbeit kann, sagt dir, wo ein Modell schwach ist.
Der dritte: das Modell kaufen und nicht die Pipeline. Das clevere Modell ist ein kleiner Teil der Arbeit. Der Rest ist Datenleitung, Profiling, die Überwachungsschleife und die Verdrahtung, die aus einer Vorhersage eine Handlung macht, genau die Wartungslast, die das Google Paper beschreibt.9 Steckt das Angebot alle Worte ins Modell und keine in die Leitungen, kaufst du den kleinen Teil und hoffst, dass der große gratis dazukommt.
Der vierte: das Profiling weglassen, weil es nicht aufregend ist. Datenbereinigung steht in keinem Pitch, und doch liegt dort das meiste Risiko.
Der fünfte: den Livegang für die Ziellinie halten, obwohl dort die Arbeit erst beginnt, das Ding ehrlich zu halten.
Und der letzte: auf deiner Seite niemanden als zuständig benennen. Ist in deinem Betrieb niemand für die Entscheidung verantwortlich, die das Modell speist, wird es wieder zur Tapete, egal wie gut die Mathematik ist.
So nutzt du das bei einem Angebot
Du musst die Mathematik nicht ausdiskutieren. Setz dich mit dem Deck hin, geh die sechzehn Fragen durch und achte weniger auf die Antworten als auf die Gelassenheit. Ein Partner, der echte Dinge gebaut hat, begegnet Nummer drei mit einem Schulterzucken und einer Vorführung, nennt dir die Grundrate, bevor du fragst, und weiß, wem der Datenfluss gehört. Ein Partner, der dir eine Geschichte verkauft, wird beim Thema Leakage defensiv, führt mit einer glänzenden Genauigkeitszahl und wird still, wenn du fragst, was sich am Montag ändert.
Zwei praktische Punkte, falls du mich dafür holst. Deine Rohdaten bleiben deine, und die Bedingungen für Code und Modelle stehen in den Bedingungen für Analytics und Data Science. Und das erste Gespräch ist ein kostenloser Workshop, dazu die ersten zwei Wochen Arbeit, damit du siehst, wie ich mit den sechzehn umgehe, bevor du ein Budget freigibst. Hier buchst du den Workshop.
Die Fehler in dieser Liste sind nicht exotisch. Sie sind gewöhnlich und vermeidbar, und jeder einzelne ist in einem Meeting viel günstiger zu erwischen als im vierten Monat eines Projekts, das nie funktionieren konnte.