KI im Unternehmen: die Möglichkeiten, die Gefahren und wie du es richtig machst

Drei Wege, KI zu nutzen, und eine Frage, die zwischen ihnen entscheidet

Die meisten Unternehmen begegnen KI auf dieselbe Weise. Jemand legt sich einen Account bei einem Chatbot an, der schreibt in vier Sekunden eine ordentliche Mail, und nach einem Monat nutzt ihn das halbe Büro für alles. Entschieden hat das niemand. Es ist einfach passiert.

Genau das ist der Moment, einen Schritt zurückzutreten. Denn es gibt eigentlich nur drei Wege, KI einzusetzen, und jeder beantwortet eine einzige Frage anders: wohin gehen deine Daten, wenn jemand etwas in das Eingabefeld tippt?

• KI aus der Cloud. Du nutzt das Modell eines Anbieters über das Internet. Deine Eingabe verlässt dein Haus, wird auf dessen Servern verarbeitet und kommt als Antwort zurück.
• Selbst gehostete KI. Du betreibst ein Open Weight Modell auf Hardware, die du kontrollierst. Die Eingabe verlässt dein Netzwerk nie.
• Hybride KI. Eine Vermittlungsschicht schickt jede Anfrage an das eine oder das andere, je nachdem, was drinsteht.

Dieser Leitfaden geht alle drei durch, zeigt, was schiefgeht, wenn Leute unvorsichtig werden, und was das Recht in Deutschland und der EU dazu sagt.

Zuerst ein Blick auf die Wirklichkeit, aus der jährlichen Erhebung des Statistischen Bundesamts (Destatis) zur Nutzung von Informations und Kommunikationstechnologien in Unternehmen. Unter den Unternehmen ab 10 Beschäftigten stieg der Anteil, der künstliche Intelligenz nutzt, von 12 % im Jahr 2023 auf 20 % im Jahr 2024.¹ 2025 waren es 26 %. Die Nutzung wächst mit der Größe: 23 % der kleinen Unternehmen mit 10 bis 49 Beschäftigten, 36 % der mittleren mit 50 bis 249 und 57 % der großen ab 250.²

Die senkrechte Achse zeigt den Anteil der Unternehmen, die mindestens eine KI Technologie nutzen, die waagerechte die Größenklasse und das Jahr. In zwei Jahren hat sich die Nutzung mehr als verdoppelt, und trotzdem melden rund drei Viertel der Unternehmen ab 10 Beschäftigten noch gar keine. Du bist nicht spät dran. Du bist früh genug, um es ordentlich zu machen.

Ein Hinweis zu den Zahlen: Destatis erfasst nur Unternehmen ab 10 Beschäftigten und fragt einmal im Jahr. Kleinstbetriebe mit bis zu neun Leuten tauchen in dieser Statistik nicht auf, und mit Erhebungen anderer Länder oder von Verbänden, die anders fragen, sind die Werte nur grob vergleichbar.

Durch den ganzen Text begleitet uns ein erfundenes Unternehmen. Die Kanzlei Auenwald ist eine Steuerkanzlei mit 14 Leuten in Leipzig, geführt von Johanna, zu finden unter auenwald.example. Sie macht Lohnabrechnungen, Umsatzsteuervoranmeldungen und Jahresabschlüsse für rund 200 kleine Mandanten. Niemand davon ist echt, jede Zahl ist ausgedacht.

KI aus der Cloud: die leistungsfähigste Wahl mit dem wenigsten Aufwand

Das sind die Namen, die du kennst: ChatGPT von OpenAI, Claude von Anthropic, Gemini von Google und Copilot von Microsoft. Deine Anfrage wird in der Cloud des Anbieters verarbeitet, und die Antwort kommt in Sekunden zurück. Keine Hardware, nichts zu installieren, kein Modell zu aktualisieren. Du zahlst ein Abo oder pro Token (ein Token ist ein Stück Text, ungefähr ein kurzes Wort).

Die Modelle entwerfen Texte, fassen Berichte zusammen, werten Dokumente aus, übersetzen, und sie schreiben und erklären Code. Die Anbieter aktualisieren sie ständig, und deshalb liste ich nicht auf, was ein bestimmtes Modell kann: solche Aussagen veralten in Wochen. Schau in die aktuelle Dokumentation des Anbieters für genau das Modell, für das du bezahlst.

Das stärkste Argument ist die Hardware. Ein großes Modell braucht allein zum Laden viel Speicher auf einer Grafikkarte (GPU), und die Cloudanbieter verteilen diese Kosten auf Millionen von Nutzern.

Rechenbeispiel: was ein Cloudzugang die Kanzlei Auenwald wirklich kostet

Johanna will alle 14 Leute auf einen Businesstarif eines Cloud Chatbots bringen. Angenommen sind 25 € pro Zugang und Monat (eine Annahme des Beispiels, nicht die Preisliste eines Anbieters).

$$14 \times 25 \times 12 = 4.200$$

Dabei ist $14$ die Zahl der Zugänge, $25$ der angenommene Preis pro Zugang und Monat in Euro, $12$ die Zahl der Monate im Jahr, und $4.200$ sind die jährlichen Kosten, also 4.200 €.

Für 4.200 € im Jahr bekommt die Kanzlei die leistungsfähigsten Modelle ohne jede Wartung. Der Rest dieses Leitfadens handelt davon, was damit nicht abgedeckt ist.

Selbst gehostete KI: Open Weight Modelle auf deiner eigenen Hardware

Die Alternative ist, ein Modell auf einer Infrastruktur zu betreiben, die du kontrollierst. "Open Weight" heißt, dass das trainierte Modell selbst (seine Gewichte, die Milliarden Zahlen, die es zum Laufen bringen) für alle zum Herunterladen und Betreiben veröffentlicht ist. Ein paar bekannte Familien, jede mit eigener Lizenz:

• Llama von Meta. Kommerzielle Nutzung ist nach Metas Lizenz erlaubt, mit einer Bedingung: ein Unternehmen mit mehr als 700 Millionen monatlich aktiven Nutzern muss Meta um eine eigene Lizenz bitten.³
• Mistral. Ein französisches Unternehmen. Als es im September 2023 Mistral 7B veröffentlichte, gab es an, dass das Modell mit 7,3 Milliarden Parametern Metas Llama 2 13B, fast doppelt so groß, in allen getesteten Benchmarks schlug, und stellte es unter die Lizenz Apache 2.0.⁴ Größe ist nicht alles.
• DeepSeek. Das Reasoning Modell DeepSeek R1 steht unter der MIT Lizenz.⁵
• Qwen von Alibaba, Gemma von Google und Falcon vom Technology Innovation Institute in Abu Dhabi runden die bekannten Namen ab.

Welches davon für deine Arbeit gut genug ist, kann dir keine Liste sagen. Teste zwei oder drei Kandidaten an 20 echten, anonymisierten Aufgaben aus deinem eigenen Betrieb und bewerte die Antworten selbst.

Die Werkzeuge, die Entwickler nutzen

Wenn du KI in deine eigene Software einbaust, begegnen dir diese Werkzeuge immer wieder:

• Ollama lädt ein Modell mit einem einzigen Befehl herunter und startet es, der einfachste Weg, lokale KI auszuprobieren.
• llama.cpp betreibt Modelle direkt auf deiner Hardware, mit feiner Kontrolle über jede Einstellung, und vLLM stellt Modelle vielen Nutzern gleichzeitig bereit.
• Hugging Face Transformers ist die Standardbibliothek in Python für die Arbeit mit vortrainierten Modellen.
• LangChain verkettet Eingaben und Werkzeuge zu mehrstufigen Abläufen, und LlamaIndex verbindet ein Modell mit deinen eigenen Dokumenten und Datenbanken, ein Muster namens Retrieval Augmented Generation (RAG).

Rechenbeispiel: wie viel Speicher ein Modell braucht

Der Speicher ist ungefähr die Zahl der Parameter mal die Bytes pro Parameter. Laut der Dokumentation von Hugging Face werden Modelle meist mit 2 Bytes pro Parameter geladen, und Quantisierung (jedes Gewicht in weniger Bits speichern) senkt das. Ein Modell mit 8 Milliarden Parametern braucht also etwa 16 GB in voller Größe, 8 GB bei 8 Bit und 4 bis 5 GB bei 4 Bit, mit etwas Verlust an Genauigkeit.⁶

Johannas Entwickler schaut sich ein Modell mit 70 Milliarden Parametern an, auf 4 Bit quantisiert. Vier Bit sind ein halbes Byte:

$$70.000.000.000 \times \frac{4}{8} = 35.000.000.000 \text{ Bytes}$$

Dabei ist $70.000.000.000$ die Zahl der Parameter, also 70 Milliarden, $\frac{4}{8}$ rechnet 4 Bit in ein halbes Byte pro Parameter um, und $35.000.000.000$ Bytes sind 35 GB allein für die Gewichte. Das Modell braucht außerdem Arbeitsspeicher für das Gespräch selbst, in der Praxis also rund 40 GB Speicher auf der GPU. Das ist professionelle Hardware oder mehrere Karten im Verbund.

Ein Modell mit 7 Milliarden Parametern braucht bei 4 Bit $7.000.000.000 \times \frac{4}{8} = 3{,}5$ Milliarden Bytes, also 3,5 GB, und passt auf eine handelsübliche Grafikkarte mit 8 GB. Das ist der Tausch: kleinere Modelle laufen auf bescheidener Hardware, größere bewältigen schwierigeres Schlussfolgern.

Das Datenschutzproblem: wenn Bequemlichkeit zur Haftung wird

Jede Eingabe an eine KI aus der Cloud verlässt deine Infrastruktur. Sie wird auf Servern verarbeitet, die du nicht kontrollierst, und je nach Tarif und Einstellung gespeichert oder zum Training künftiger Modelle verwendet.

Dieser letzte Punkt hängt am Vertrag, und der unterscheidet sich zwischen Tarifen für Privatleute und für Unternehmen. Anthropic etwa hat im August 2025 seine Verbraucherbedingungen geändert: Nutzer der Tarife Free, Pro und Max können wählen, ob ihre Chats zur Verbesserung der Modelle genutzt werden, und laut Anthropic gilt die Änderung nicht für die gewerblichen Bedingungen und nicht für die Nutzung über die API.⁷ Die Kollegin aus der Buchhaltung, die sich mit ihrer privaten Mailadresse angemeldet hat, steht auf der Verbraucherseite dieser Linie.

Im Mai 2023 schränkte Samsung die Nutzung generativer KI wie ChatGPT auf Firmenrechnern ein, nachdem Beschäftigte vertraulichen Code zu ChatGPT hochgeladen hatten, und erklärte, man suche nach Wegen, generative KI sicher zu nutzen.⁸

Im August 2024 warnte die niederländische Datenschutzbehörde, die Autoriteit Persoonsgegevens (AP), Arbeitgeber, nachdem bei ihr Meldungen über Datenpannen durch KI Chatbots eingegangen waren: ein Mitarbeiter einer Hausarztpraxis hatte medizinische Daten von Patienten in einen Chatbot eingegeben, und ein Mitarbeiter eines Telekommunikationsunternehmens eine Datei mit Kundenadressen.⁹ Bis Dezember 2025 hatte die AP nach eigenen Angaben Dutzende solcher Meldungen aus den Jahren 2024 und 2025 erhalten, 2025 mehr als im Jahr davor.¹⁰

Anlass dieser Warnung war die niederländische Stadt Eindhoven. Eine Prüfung über 30 Tage, vom 23. September bis zum 23. Oktober 2025, ergab, dass Beschäftigte Dateien mit personenbezogenen Daten auf öffentliche KI Websites hochgeladen hatten: Unterlagen nach dem Jugendgesetz, interne Berichte und Lebensläufe von Bewerbern. Wie viele Dateien insgesamt betroffen waren, konnte die Stadt nicht sagen, weil die KI Seiten Uploads nur 30 Tage aufbewahrten. Sie sperrte öffentliche KI Websites, stellte die Beschäftigten auf ein Werkzeug in der eigenen Umgebung um und bat OpenAI, die Dateien zu löschen.¹¹

Wie unvorsichtige Nutzung in der Praxis aussieht

Niemand will etwas Böses.

Finanzen. Jemand bittet einen Chatbot, eine Gewinn und Verlustrechnung aufzuräumen oder Notizen für Investoren zu entwerfen, und kopiert die echten Zahlen hinein. Diese Weitergabe kann gegen interne Richtlinien, Verträge mit Kunden oder die Marktregeln zu Insiderinformationen verstoßen.

Daten und vertrauliche Kundeninformationen. Eine Data Scientistin kopiert eine Stichprobe aus dem Datensatz eines Kunden, mit Namen, Mailadressen und Kaufhistorien, in einen Chatbot. Damit sind personenbezogene Daten an einen Dritten gegangen, ohne ordentlichen Vertrag zur Auftragsverarbeitung, ohne die betroffenen Menschen zu informieren und sehr wahrscheinlich ohne Rechtsgrundlage nach Artikel 6 der Datenschutz Grundverordnung (DSGVO).¹²

Entwickler und Schlüssel. Ein Entwickler kopiert Code in einen KI Assistenten, um Hilfe bei einem Fehler zu bekommen, und darin stecken API Schlüssel, Datenbankpasswörter oder Zugangsdaten zum Zahlungsanbieter. Diese Geheimnisse sind übertragen und womöglich protokolliert, und ein geleakter Schlüssel funktioniert für jeden, der ihn hat. Wer für Code geradesteht, bei dem ein Assistent mitgeschrieben hat, ist eine eigene Frage, und die nehme ich in KI schreibt den Code. Wer ist dafür verantwortlich? auseinander, und was diese Assistenten für einen Entwickler leisten können und was nicht, in Wird AI wie ChatGPT je Developers ersetzen?

Diese Art von Unachtsamkeit habe ich selbst erlebt. Bei der Arbeit mit Kunden bin ich auf einen Entwickler gestoßen, der über 14.000 Kundendatensätze auf GitHub hochgeladen hatte, wo sie öffentlich zugänglich blieben, bis ich sie gefunden habe. Dieselbe Gewohnheit, die in einem Code Repository zu Fehlern führt, zeigt sich bei KI Werkzeugen, oft mit noch weniger Bewusstsein für das Risiko.

Rechenbeispiel: was ein einziges unvorsichtiges Einfügen bei der Kanzlei Auenwald riskiert

Eine junge Lohnbuchhalterin der Kanzlei stimmt die Lohnabrechnung eines Mandanten ab. Die Tabelle geht nicht auf, also kopiert sie 40 Zeilen in einen kostenlosen Chatbot, bei dem sie sich mit ihrer privaten Mailadresse angemeldet hat, und fragt, wo der Fehler liegt.

Zähl, was gerade das Haus verlassen hat:

1. Die Namen von 40 Beschäftigten, also personenbezogene Daten von 40 Menschen.
2. Ihre Gehälter, Sozialversicherungsnummern und Steueridentifikationsnummern, die sie eindeutig erkennbar machen und Betrug ermöglichen könnten.
3. Die IBAN des Mandanten aus der Kopfzeile.
4. Den Namen des Mandanten, dessen Vertraulichkeit der Mandatsvertrag der Kanzlei zusichert.

Jetzt die Pflichten: kein Vertrag zur Auftragsverarbeitung mit dem Anbieter, 40 Beschäftigte nie informiert, ein Mandatsvertrag gebrochen, und Johanna muss entscheiden, ob sie der Datenschutzaufsicht eine Panne meldet. Niemand hatte der Lohnbuchhalterin gesagt, wo die Grenze liegt.

Das Risiko mit dem Erwartungswert in eine Zahl fassen

"Es könnte schiefgehen" lässt sich schlecht budgetieren. Der Erwartungswert macht aus einem Risiko eine Zahl, die du gegen die Kosten der Vorbeugung abwägen kannst. Er ist die Summe aller möglichen Ausgänge, jeder mal seiner Wahrscheinlichkeit:

$$E[C] = \sum_{i} p_i \, c_i$$

Dabei ist $E[C]$ die erwartete Belastung pro Jahr, $p_i$ die Wahrscheinlichkeit des Ausgangs $i$ in einem Jahr, $c_i$ die Kosten dieses Ausgangs in Euro, und $\sum_{i}$ heißt, über alle Ausgänge aufsummieren. Die Idee ist von null an erklärt unter Grundlagen: der Erwartungswert.

Rechenbeispiel: lohnen sich eine Richtlinie und eine Vermittlungsschicht für die Kanzlei Auenwald?

Die Zahlen sind Annahmen des Beispiels, keine gemessenen Raten. Johanna nimmt an, dass ohne jede Vorkehrung mit 10 % Wahrscheinlichkeit in einem Jahr ein Vorfall wie das Einfügen der Lohnabrechnung ernst wird, und dass ein ernster Vorfall 30.000 € kostet (Arbeitszeit, Rechtsberatung, die Benachrichtigung der Betroffenen und ein verlorener Mandant). Mit 90 % Wahrscheinlichkeit gibt es keinen ernsten Vorfall, und der kostet nichts.

$$0{,}10 \times 30.000 + 0{,}90 \times 0 = 3.000$$

Dabei ist $0{,}10$ die angenommene Wahrscheinlichkeit eines ernsten Vorfalls, also 10 %, $30.000$ seine angenommenen Kosten in Euro, $0{,}90$ die Wahrscheinlichkeit, dass nichts Ernstes passiert, $0$ deren Kosten, und $3.000$ die erwartete Belastung pro Jahr, also 3.000 €.

Mit einer schriftlichen Richtlinie, einer Schulung und einer Vermittlungsschicht, die die offensichtlichen personenbezogenen Daten abfängt, nimmt sie an, dass die Wahrscheinlichkeit auf 2 % fällt:

$$0{,}02 \times 30.000 = 600$$

Dabei ist $0{,}02$ die angenommene Wahrscheinlichkeit mit Vorkehrungen und $600$ die erwartete Belastung pro Jahr in Euro. Die Vorkehrungen sind im Erwartungswert also bis zu $3.000 - 600 = 2.400$ Euro im Jahr wert, 2.400 €.

Der Erwartungswert mittelt über viele Jahre. Würde der Verlust des einen großen Mandanten die Kanzlei versenken, hilft der Durchschnitt in dem Jahr, in dem es passiert, nicht weiter. Das ist ein Argument für die Vorkehrungen, nicht dagegen.

Die rechtliche Lage: DSGVO, KI Verordnung und die deutschen Aufsichtsbehörden

Wenn Beschäftigte irgendetwas, das einen Menschen erkennbar macht, in ein KI Werkzeug aus der Cloud eingeben, ist das eine Verarbeitung personenbezogener Daten, und die DSGVO gilt, in Deutschland ergänzt durch das Bundesdatenschutzgesetz (BDSG).

Drei Artikel erledigen den größten Teil der Arbeit. Artikel 6 verlangt für jede Verarbeitung eine Rechtsgrundlage. Artikel 28 verlangt einen Vertrag mit jedem Auftragsverarbeiter, der in deinem Auftrag personenbezogene Daten verarbeitet, mit festgelegtem Inhalt. Artikel 44 erlaubt die Übermittlung personenbezogener Daten in ein Land außerhalb des Europäischen Wirtschaftsraums nur unter den Bedingungen, die dieses Kapitel der Verordnung festlegt.¹²

Der Punkt mit der Übermittlung ist weniger dramatisch als früher. Im Juli 2023 hat die Europäische Kommission beschlossen, dass der Datenschutzrahmen zwischen der EU und den USA (Data Privacy Framework) ein angemessenes Schutzniveau für personenbezogene Daten bietet, die an danach zertifizierte Organisationen in den USA gehen.¹³ Im September 2025 hat das Gericht der Europäischen Union eine Klage gegen diesen Beschluss abgewiesen.¹⁴ Ein kostenloser Account, angelegt mit einer privaten Mailadresse, kommt trotzdem ohne jeden Vertrag zur Auftragsverarbeitung.

Die Bußgelder, durchgerechnet für eine kleine Kanzlei

Nach der DSGVO können die schwersten Verstöße, darunter die gegen die Grundsätze der Verarbeitung und gegen die Regeln zur Übermittlung, mit Geldbußen von bis zu 20 Millionen € oder bis zu 4 % des gesamten weltweiten Jahresumsatzes geahndet werden, je nachdem, welcher Betrag höher ist.¹²

Der Umsatz der Kanzlei Auenwald liegt bei 1,2 Millionen € (eine erfundene Zahl):

$$0{,}04 \times 1.200.000 = 48.000$$

Dabei ist $0{,}04$ die Grenze von 4 % des Umsatzes, $1.200.000$ der Jahresumsatz der Kanzlei in Euro, und $48.000$ das Ergebnis in Euro, also 48.000 €. Weil die Regel "je nachdem, welcher der Beträge höher ist" lautet, liegt die Obergrenze für die Kanzlei bei den festen 20 Millionen €, nicht bei 48.000 €. Die 4 % werden erst ab einem Umsatz von $20.000.000 \div 0{,}04 = 500.000.000$ Euro zur größeren Zahl, also ab 500 Millionen €. Niemand erwartet, dass eine Steuerkanzlei 20 Millionen € zahlt, aber die Obergrenze zeigt, wie ernst das Gesetz die Sache nimmt.

Bußgelder sind außerdem weniger gefestigt, als Schlagzeilen vermuten lassen. Im Dezember 2024 verhängte die italienische Datenschutzbehörde, der Garante, gegen OpenAI wegen ChatGPT ein Bußgeld von 15 Millionen €, unter anderem, weil das Modell ohne ausreichende Rechtsgrundlage mit personenbezogenen Daten trainiert worden sei. Ein Gericht in Rom gab der Beschwerde von OpenAI gegen diese Entscheidung statt, in einem Urteil, das am 18. März 2026 veröffentlicht wurde.¹⁵ Das Recht wird noch erprobt, Fall für Fall.

Die EU KI Verordnung, mit ihren echten Daten

Die EU KI Verordnung ist die Verordnung (EU) 2024/1689. Sie ist am 1. August 2024 in Kraft getreten, am zwanzigsten Tag nach ihrer Veröffentlichung, und gilt in Stufen: der allgemeine Geltungsbeginn ist der 2. August 2026, die verbotenen Praktiken und die Pflicht zur KI Kompetenz gelten seit dem 2. Februar 2025, und die Regeln für KI Modelle mit allgemeinem Verwendungszweck seit dem 2. August 2025.¹⁶

Die Verarbeitung sensibler Daten macht ein System nicht zum Hochrisikosystem. Hohes Risiko ergibt sich daraus, wofür ein System eingesetzt wird, aufgelistet in Anhang III: unter anderem Biometrie, kritische Infrastruktur, Bildung, Beschäftigung (zum Beispiel Werkzeuge, die Bewerbungen filtern oder Kandidaten bewerten), der Zugang zu grundlegenden Diensten und die Strafverfolgung.¹⁶ Ein Chatbot, der Mails entwirft, wird nicht zum Hochrisikosystem, weil jemand personenbezogene Daten hineinkopiert. Das ist ein Problem der DSGVO.

Die Daten für Hochrisikosysteme haben sich inzwischen verschoben. Der Digital Omnibus zur KI, die Verordnung (EU) 2026/1744, veröffentlicht am 24. Juli 2026, verschiebt die Pflichten für Hochrisikosysteme auf den 2. Dezember 2027 für die in Anhang III aufgeführten Systeme und auf den 2. August 2028 für KI, die in Produkte eingebaut ist, die schon unter das Sicherheitsrecht der EU fallen. Er hat außerdem die Pflicht zur KI Kompetenz abgeschwächt: Anbieter und Betreiber müssen jetzt Maßnahmen ergreifen, die die Entwicklung der KI Kompetenz ihres Personals unterstützen, und sie sind ausdrücklich nicht verpflichtet, irgendeiner Person ein bestimmtes Niveau an KI Kompetenz zu garantieren.¹⁷ Was das für Leute bedeutet, die Software bauen, behandle ich in die EU KI Verordnung für SaaS Entwickler, und den Blick auf Deutschland und Österreich in KI Compliance für den DACH Markt.

Gilt das für eine Kanzlei in Leipzig? Ja, unmittelbar. Die Verordnung gilt in jedem Mitgliedstaat direkt, ohne dass sie erst in deutsches Recht übertragen werden muss, und sie erfasst Betreiber von KI Systemen, die in der EU niedergelassen sind, genauso wie Anbieter, die KI Systeme in der EU in Verkehr bringen, egal wo sie sitzen.¹⁶

Rechenbeispiel: welche Regeln die drei KI Ideen der Kanzlei Auenwald berühren

1. Beschäftigte entwerfen Mails an Mandanten mit einem Chatbot. Nach der KI Verordnung kein hohes Risiko. Die Frage ist der Datenschutz: welcher Tarif, welcher Vertrag, und was die Beschäftigten hineinkopieren dürfen. Die DSGVO gilt.
2. Ein Werkzeug, das Bewerbungen für eine Ausbildungsstelle zur Steuerfachangestellten in eine Rangfolge bringt. Genau diese Art der Nutzung führt Anhang III unter Beschäftigung auf, das System ist also hochriskant, mit Pflichten ab dem 2. Dezember 2027.¹⁷ Für eine deutsche Kanzlei gibt es da kein Ausweichen, und die Regeln der DSGVO zu automatisierten Entscheidungen gelten zusätzlich.
3. Ein Chatbot auf auenwald.example, der Fragen von Mandanten beantwortet. Hier greifen die Transparenzregeln aus Artikel 50: KI Systeme, die mit Menschen interagieren, müssen so gestaltet sein, dass die Menschen wissen, dass sie es mit einer KI zu tun haben, es sei denn, das ist offensichtlich.¹⁶

Drei Ideen, drei Sätze von Regeln. "Ist KI für uns erlaubt?" hat nie eine Antwort mit einem Wort.

Deutschland: die Verordnung gilt direkt, die Aufsicht ist geregelt

Deutschland braucht kein eigenes KI Gesetz, weil die EU Verordnung hier unmittelbar gilt. Geregelt werden musste nur, wer sie überwacht. Das erledigt das Gesetz zur Marktüberwachung und Innovationsförderung von künstlicher Intelligenz, das am 28. Juli 2026 im Bundesgesetzblatt veröffentlicht wurde und seit dem 29. Juli 2026 gilt. Die Marktüberwachung übernimmt die Bundesnetzagentur.¹⁸

Für personenbezogene Daten bleibt es bei den Datenschutzbehörden. Bei Unternehmen überwachen die nach Landesrecht zuständigen Behörden die Einhaltung, also die Datenschutzaufsicht des Bundeslands, in dem dein Unternehmen sitzt, für die Kanzlei Auenwald die sächsische.¹⁹ Gemeinsam haben die Aufsichtsbehörden von Bund und Ländern im Mai 2024 eine Orientierungshilfe zu KI und Datenschutz veröffentlicht. Sie ist der beste Ausgangspunkt, und sie sagt unter anderem, dass Arbeitgeber für die berufliche Nutzung von KI Geräte und betriebliche Accounts bereitstellen sollten, statt Beschäftigte mit privaten Accounts arbeiten zu lassen, und dass es ohne klare interne Regeln das Risiko gibt, dass Beschäftigte KI eigenmächtig und unkontrolliert nutzen.²⁰

Die Wirklichkeit ist nach meiner Erfahrung, dass die Durchsetzung uneinheitlich ist. Ich habe einmal der britischen Datenschutzaufsicht, dem ICO, eine erhebliche Datenpanne gemeldet, mit allen Einzelheiten zu den offengelegten Kundendaten, und bekam fünf Monate später eine allgemeine Antwort mit der Frage, ob das Problem noch bestehe. Nachdem ich das bestätigt hatte, habe ich nie wieder etwas gehört. Der rechtliche Rahmen existiert. Aktive Durchsetzung ist eine andere Sache.

Das ist kein Freibrief, die Regeln zu ignorieren. Die Durchsetzung ist unberechenbar, der Schaden für deinen Ruf nach einer Datenpanne kann schwer sein, und Menschen, deren Daten offengelegt wurden, haben nach Artikel 82 DSGVO einen eigenen Anspruch auf Schadenersatz gegen den Verantwortlichen.¹² Sie müssen nicht warten, bis die Behörde handelt.

Selbst hosten: was es löst und was es kostet

Modelle auf der eigenen Infrastruktur zu betreiben, beseitigt die meisten Datenschutzprobleme von oben. Die Daten verlassen dein Netzwerk nie, und nichts, was du eintippst, trainiert das Modell eines anderen. Für Organisationen mit strengen Verschwiegenheitspflichten, etwa im Gesundheitswesen, in der Finanzbranche und in der Rechts und Steuerberatung, ist es womöglich die einzige Wahl, die sie verteidigen können.

Es richtig aufsetzen

Selbst hosten ist viel einfacher geworden. Ein einfaches Setup hat fünf Teile:

1. Hardware. Ein Server mit einer GPU, die zum Modell passt, berechnet wie im Speicherbeispiel oben.
2. Eine Laufzeitumgebung. Ollama ist die freundlichste. vLLM oder llama.cpp geben mehr Kontrolle.
3. Ein Modell. Ein kleines (7 Milliarden Parameter) ist schnell und braucht wenig Hardware, ein großes (70 Milliarden) bewältigt schwierigeres Schlussfolgern.
4. Eine API. Ollama stellt automatisch eine bereit. Standardmäßig hört sie nur auf dem Rechner selbst, auf 127.0.0.1 und Port 11434, und die FAQ von Ollama zeigt, wie du das änderst und sie hinter einen Proxy wie nginx stellst.²¹
5. Sicherheit. Der Server steht in einem eigenen Netzwerksegment ohne Internetzugang, hinter einer Firewall, verlangt eine Anmeldung und nimmt nur Verbindungen von freigegebenen Systemen an. Protokolliere Eingaben und Antworten mit einer vernünftigen Aufbewahrungsfrist, damit du eine Prüfspur hast. Und die Beschäftigten brauchen trotzdem klare Regeln, was verarbeitet werden darf.

Eine minimale Prüfung, ob das Modell antwortet, auf dem Server selbst:

ollama pull <model-name>
curl http://localhost:11434/api/generate -d '{"model": "<model-name>", "prompt": "Erkläre die Istversteuerung in zwei Sätzen."}'

Die Abwägungen

Selbst hosten ist keine Zauberlösung. Ob ein Open Weight Modell für deine Aufgabe so gut ist wie ein Cloudmodell, musst du testen, nicht annehmen. Updates, Patches und Fehlersuche liegen bei dir, ein Support Ticket gibt es nicht. Die Hardware ist eine echte Anfangsinvestition, der Strom summiert sich, und der Betrieb braucht Fähigkeiten, die dein Team vielleicht nicht hat.

Rechenbeispiel: der eigene Server der Kanzlei Auenwald, durchkalkuliert

Jede Zahl hier ist eine Annahme des Beispiels. Johannas Entwickler kalkuliert einen Server mit GPU für 6.000 €, abgeschrieben über drei Jahre. Er zieht rund um die Uhr im Schnitt 300 Watt, bei angenommenen 0,25 € pro Kilowattstunde, und braucht für Updates etwa zwei Tage externe Arbeit im Jahr zu 450 € pro Tag.

Zuerst der Strom. Ein Jahr hat $24 \times 365 = 8.760$ Stunden:

$$0{,}3 \times 8.760 \times 0{,}25 = 657$$

Dabei ist $0{,}3$ die Leistungsaufnahme in Kilowatt, $8.760$ die Stunden im Jahr, $0{,}25$ der angenommene Preis pro Kilowattstunde in Euro, und $657$ die jährlichen Stromkosten, also 657 €.

Dann die Jahressumme:

$$\frac{6.000}{3} + 657 + 2 \times 450 = 3.557$$

Dabei sind $\frac{6.000}{3}$ die auf drei Jahre verteilten Serverkosten, $657$ der Strom, $2 \times 450$ die Wartungstage, und $3.557$ die Jahressumme, also 3.557 €.

Der Server kostet die Kanzlei also rund 3.557 € im Jahr, gegen 4.200 € für die Cloudzugänge. Beim Geld liegt das nah beieinander. Der Unterschied ist, was du bekommst: der Server hält die Lohnabrechnung jedes Mandanten im Haus, betreibt aber ein kleineres Modell und braucht jemanden, der sich kümmert. Deshalb lohnt sich ein Blick auf die hybride Lösung.

Der hybride Ansatz: nach Sensibilität vermitteln

Eine hybride Lösung leitet jede Anfrage danach weiter, wie sensibel sie ist. Vertrauliche Daten bleiben beim selbst gehosteten Modell. Anfragen ohne sensible Inhalte, bei denen sich die zusätzliche Leistung eines Cloudmodells lohnt, gehen in die Cloud.

Lies es von oben. Jede Anfrage durchläuft dieselbe Prüfung. Ja hält sensible Inhalte auf deiner Hardware, nein schickt sie in die Cloud, und beide Wege enden im Protokoll, mit dem du später zeigen kannst, was wohin gegangen ist.

Die Prüfung kann schlicht oder schlau sein. Schlichte Varianten suchen nach Mustern (eine Mailadresse, eine Sozialversicherungsnummer, eine IBAN, etwas, das aussieht wie ein API Schlüssel). Bessere ergänzen ein kleines Klassifikationsmodell, das einschätzt, welche Art von Anfrage es ist. Manche Systeme schwärzen die personenbezogenen Daten, schicken die bereinigte Anfrage in die Cloud und setzen die ursprünglichen Werte danach wieder in die Antwort ein.

Ein paar Werkzeuge machen das praktikabel. Ein Gateway wie LiteLLM bietet eine einzige API vor vielen Modellen, deine Anwendungen binden sich also einmal an, und das Gateway entscheidet, wohin jeder Aufruf geht.²² Frameworks wie LangChain unterstützen ebenfalls mehrere Modelle im Hintergrund, die Vermittlung kann also auch in deinem eigenen Code leben.

Rechenbeispiel: eine erste Vermittlung für die Kanzlei Auenwald

Die einfachste nützliche Vermittlung besteht aus ein paar Mustern und einer Regel. Diese Skizze in Python ist ein Anfang, kein vollständiger Filter:

import re

PATTERNS = {
    "email": re.compile(r"[\w.+-]+@[\w-]+\.[\w.]+"),
    "sv_nummer": re.compile(r"\b\d{2}\s?\d{6}\s?[A-Z]\s?\d{3}\b", re.I),
    "steuer_id": re.compile(r"\b\d{2}\s?\d{3}\s?\d{3}\s?\d{3}\b"),
    "iban": re.compile(r"\bDE\d{2}\s?(?:\d{4}\s?){4}\d{2}\b", re.I),
    "api_key": re.compile(r"\b(sk|pk|api|key)[_-][A-Za-z0-9_-]{16,}\b", re.I),
}

def route(prompt: str) -> str:
    hits = [name for name, rx in PATTERNS.items() if rx.search(prompt)]
    if hits:
        return f"local (found: {', '.join(hits)})"
    return "cloud"

Schick vier echte Anfragen der Kanzlei hindurch:

1. "Formuliere diesen Absatz aus unserem Newsletter etwas lockerer." Nichts gefunden, also geht er in die Cloud.
2. Das Einfügen der Lohnabrechnung von vorhin. Es enthält Sozialversicherungsnummern, Steueridentifikationsnummern und eine IBAN, also bleibt es lokal.
3. Die Frage eines Entwicklers mit api_key = "sk_live_..." im Codeschnipsel. Das Schlüsselmuster greift, also bleibt sie lokal, und das Protokoll verrät Johanna, dass beinahe ein Schlüssel nach draußen gegangen wäre, was ein ruhiges Gespräch wert ist.
4. "Erkläre die Kleinunternehmerregelung für eine Mandantin, die ein Café betreibt." Nichts gefunden, also geht sie in die Cloud.

Die Muster übersehen Dinge (etwa den Namen eines Mandanten allein), und deshalb bleiben Richtlinie und Schulung wichtig. Die Vermittlung fängt die offensichtlichen Fehler ab, die Menschen an einem vollen Freitag machen.

Hybrid in der Praxis: GrowCentric

Genau an dieser Art hybrider Architektur habe ich für GrowCentric.ai gearbeitet, mit einer selbst gehosteten KI Schicht zwischen der KI aus der Cloud und der Benutzeroberfläche. Wenn Nutzer mit der geführten Eingabe von GrowCentric arbeiten, landen ihre Anfragen zuerst bei der selbst gehosteten Komponente.

Diese Schicht erledigt drei Aufgaben. Sie verarbeitet sensible Daten lokal, ohne sie Cloudsystemen preiszugeben. Sie bereitet Anfragen auf und reichert sie an, bevor sie die leistungsfähigeren Cloudmodelle erreichen. Und sie filtert die Antworten, damit das, was beim Nutzer ankommt, geprüft ist.

Die geführte Eingabe bedeutet, dass Nutzer keine freien Texte eintippen. Sie wählen aus strukturierten Optionen, die das System versteht, und das senkt das Risiko einer versehentlichen Offenlegung stark, weil niemand Rohdaten in ein Textfeld kopiert. Die Arbeit, die Unternehmensdaten braucht, passiert lokal, und nur bereinigte, strukturierte Anfragen gehen weiter in die Cloud, wenn mehr Leistung gebraucht wird.

Das zu bauen ist mehr Arbeit als jeder der beiden reinen Ansätze. Für Organisationen mit echten Datenschutzpflichten, die trotzdem die leistungsfähigsten Modelle wollen, ist es die beste Balance, die ich kenne.

KI in deinem Unternehmen richtig einsetzen

Gut ein Viertel der Unternehmen in Deutschland mit 10 oder mehr Beschäftigten nutzt inzwischen KI.² Manche deiner Leute tun es vielleicht schon, ob du es erlaubt hast oder nicht. Die Frage ist, wie du es tust, ohne Risiken einzugehen, die du anderswo nie akzeptieren würdest. KI aus der Cloud bringt die meiste Leistung für den geringsten Aufwand. Selbst hosten löst das Datenschutzproblem zum Preis von Hardware und Pflege. Eine hybride Lösung holt die sensible Arbeit nach Hause und schickt den Rest nach draußen.

Was du auch wählst, fünf Dinge gelten:

1. Schreib eine klare Richtlinie, welche Daten in welches KI Werkzeug dürfen und welche nicht, und sag sie jeder Mitarbeiterin und jedem Mitarbeiter.
2. Bau technische Vorkehrungen ein, die sensible Daten von der KI aus der Cloud fernhalten, durch Weiterleiten, Schwärzen oder Sperren.
3. Schul deine Leute. Die beste Architektur hilft nichts, wenn die Beschäftigten nicht wissen, wo die Grenze liegt. In der EU ist es außerdem eine gesetzliche Pflicht, Maßnahmen zu ergreifen, die das unterstützen.¹⁷
4. Beobachte die Nutzung. Wisse, wer welches System wofür nutzt und ob die Antworten taugen.
5. Überprüf das regelmäßig. Dieses Feld bewegt sich in Monaten. Eine Richtlinie, die du heute schreibst, braucht noch vor Jahresende einen zweiten Blick.

KI kann deinen Leuten mühsame Arbeit abnehmen, zeigen, was in deinen Daten steckt, und Entscheidungen beschleunigen. Bau die Architektur von Anfang an richtig, und daraus wird ein Vorteil. Bau sie falsch, und die Daten deiner Kunden landen auf den Servern anderer, oder in den Nachrichten.

Footnotes

1. Statistisches Bundesamt (Destatis), Jedes fünfte Unternehmen nutzt künstliche Intelligenz, Pressemitteilung Nr. 444, 25. November 2024, https://www.destatis.de/DE/Presse/Pressemitteilungen/2024/11/PD24_444_52911.html

2. Statistisches Bundesamt (Destatis), Nutzung von Informations und Kommunikationstechnologien in Unternehmen, Ergebnisse 2025, abgerufen im November 2026, https://www.destatis.de/DE/Themen/Branchen-Unternehmen/Unternehmen/IKT-in-Unternehmen-IKT-Branche/IKT-U-Erhebung/info.html

3. Meta, Meta Llama 3 Community License Agreement, Abschnitt 2, 18. April 2024, https://www.llama.com/llama3/license/

4. Mistral AI, Announcing Mistral 7B, 27. September 2023, https://mistral.ai/news/announcing-mistral-7b

5. DeepSeek, DeepSeek-R1 repository and licence (MIT), GitHub, 2025, https://github.com/deepseek-ai/DeepSeek-R1

6. Hugging Face, Quantization overview, Transformers documentation, abgerufen im November 2026, https://huggingface.co/docs/transformers/main/en/quantization/overview

7. Anthropic, Updates to Consumer Terms and Privacy Policy, 28. August 2025, https://www.anthropic.com/news/updates-to-our-consumer-terms

8. Arjun Kharpal, Samsung bans use of generative AI tools like ChatGPT after April internal data leak, CNBC, 2. Mai 2023, https://www.cnbc.com/2023/05/02/samsung-bans-use-of-ai-like-chatgpt-for-staff-after-misuse-of-chatbot.html

9. NOS Nieuws, Privacywaakhond: pas op met gebruik AI-chatbots, ging mis bij huisarts, 7. August 2024, https://nos.nl/l/2532234

10. Accountant.nl, AP slaat alarm over datalekken door AI, 30. Dezember 2025, https://www.accountant.nl/nieuws/2025/12/ap-slaat-alarm-over-datalekken-door-ai/

11. Lobke Kapteijns, Datalek: gemeente Eindhoven deelt persoonsgegevens met openbare AI-websites, Omroep Brabant, 19. Dezember 2025, https://www.omroepbrabant.nl/nieuws/6001041/datalek-gemeente-eindhoven-deelt-persoonsgegevens-met-openbare-ai-websites

12. Verordnung (EU) 2016/679 (Datenschutz Grundverordnung), Artikel 6, 28, 44, 82 und 83 Absatz 5, EUR-Lex, https://eur-lex.europa.eu/legal-content/DE/TXT/HTML/?uri=CELEX:32016R0679

13. Durchführungsbeschluss (EU) 2023/1795 der Kommission über die Angemessenheit des Schutzniveaus für personenbezogene Daten nach dem Datenschutzrahmen EU USA, 10. Juli 2023, EUR-Lex, https://eur-lex.europa.eu/eli/dec_impl/2023/1795/oj/deu

14. Gericht der Europäischen Union, Pressemitteilung Nr. 106/25, Urteil in der Rechtssache T-553/23 Latombe gegen Kommission, 3. September 2025, https://curia.europa.eu/jcms/upload/docs/application/pdf/2025-09/cp250106de.pdf

15. Garante per la protezione dei dati personali, ChatGPT, il Garante privacy chiude l'istruttoria, 20. Dezember 2024, mit dem Hinweis auf das am 18. März 2026 veröffentlichte Urteil des Gerichts in Rom, https://www.garanteprivacy.it/home/docweb/-/docweb-display/docweb/10085432

16. Verordnung (EU) 2024/1689 (Verordnung über künstliche Intelligenz), Artikel 2, 4, 50 und 113 und Anhang III, ABl. L vom 12. Juli 2024, EUR-Lex, https://eur-lex.europa.eu/legal-content/DE/TXT/HTML/?uri=OJ:L_202401689

17. Verordnung (EU) 2026/1744 (Digital Omnibus zur KI), zur Änderung der Verordnung (EU) 2024/1689, 8. Juli 2026, ABl. L vom 24. Juli 2026, EUR-Lex, https://eur-lex.europa.eu/legal-content/DE/TXT/HTML/?uri=OJ:L_202601744

18. IHK Lüneburg Wolfsburg, AI Act: So regelt Deutschland die Umsetzung, abgerufen im November 2026, https://www.ihk.de/ihklw/produkte/beratung-und-service/ecommerce-und-internet/ki-mig-veroeffentlicht-7142702

19. Bundesdatenschutzgesetz (BDSG), § 40 Aufsichtsbehörden der Länder, gesetze-im-internet.de, https://www.gesetze-im-internet.de/bdsg_2018/__40.html

20. Konferenz der unabhängigen Datenschutzaufsichtsbehörden des Bundes und der Länder (DSK), Orientierungshilfe Künstliche Intelligenz und Datenschutz, Version 1.0, 6. Mai 2024, https://www.datenschutzkonferenz-online.de/media/oh/20240506_DSK_Orientierungshilfe_KI_und_Datenschutz.pdf

21. Ollama, FAQ: how do I expose Ollama on my network, abgerufen im November 2026, https://docs.ollama.com/faq

22. LiteLLM Dokumentation, abgerufen im November 2026, https://docs.litellm.ai/docs/