KI Sicherheit gehört zu den drängendsten Themen für Unternehmen, die künstliche Intelligenz produktiv einsetzen. Wer KI-Systeme betreibt, ohne sie abzusichern, riskiert Datenverluste, manipulierte Ergebnisse und Verstöße gegen den EU AI Act. Gleichzeitig nutzen Angreifer selbst KI, um Phishing-Mails zu personalisieren, Schwachstellen schneller zu finden und Schutzmechanismen zu umgehen. Das Bundesamt für Sicherheit in der Informationstechnik (BSI) stuft die Bedrohungslage in seinem aktuellen Lagebericht als angespannt bis kritisch ein.
Kennzahlen auf einen Blick
Kennzahl Wert Durchschnittliche Kosten eines Datenlecks 4,88 Mio. USD weltweit Höchststrafe EU AI Act 35 Mio. EUR oder 7 % des Jahresumsatzes Größtes LLM-Risiko laut OWASP Prompt Injection (Platz 1) BSI-Bedrohungslage IT-Sicherheit Angespannt bis kritisch EU AI Act Frist Hochrisiko-KI August 2026 Quellen: IBM Cost of a Data Breach Report 2024, EU AI Act (Verordnung 2024/1689), OWASP Top 10 for LLMs 2025, BSI-Lagebericht 2024
Welche Risiken bedrohen KI-Systeme im Unternehmen?
Die Angriffsfläche von KI-Systemen unterscheidet sich grundlegend von klassischer IT-Security. Neben den bekannten Risiken wie unbefugtem Zugriff und Datendiebstahl kommen KI-spezifische Bedrohungen hinzu, die viele Organisationen noch nicht auf dem Radar haben. Die vier wichtigsten Angriffsarten sollte jeder Verantwortliche kennen.
Prompt Injection
Angreifer schleusen manipulierte Eingaben in ein KI-System ein, um dessen Verhalten zu verändern. Ein Chatbot auf Ihrer Website lässt sich so dazu bringen, vertrauliche Systeminformationen preiszugeben oder unerwünschte Aktionen auszuführen. Die OWASP listet Prompt Injection in ihrem aktuellen Bericht als größtes Sicherheitsrisiko für Large Language Models. Betroffen sind alle Unternehmen, die Sprachmodelle mit externen Eingaben betreiben.
Data Poisoning
Bei Data Poisoning verändern Angreifer die Trainingsdaten eines KI-Modells gezielt, sodass es systematisch falsche Ergebnisse liefert. Der Fehler ist oft nicht auf den ersten Blick erkennbar, weil das System technisch einwandfrei funktioniert. Besonders kritisch wird das bei KI-Systemen, die Entscheidungen in der Qualitätskontrolle oder in der Lieferkette treffen. Forschungsinstitute wie das Fraunhofer IAIS arbeiten an Methoden, um vergiftete Datensätze frühzeitig zu erkennen.
Modelldiebstahl und Reverse Engineering
Wer ein proprietäres KI-Modell betreibt, investiert erhebliche Ressourcen in Training und Feinabstimmung. Durch systematische Abfragen können Angreifer die Logik und Parameter des Modells rekonstruieren. Das geistige Eigentum wandert ab, der Wettbewerbsvorteil ist dahin. Cloud-basierte KI-Dienste sind für diese Art von Angriff besonders anfällig, weil sie per API öffentlich erreichbar sind.
Adversarial Attacks
Minimale, für Menschen unsichtbare Veränderungen an Eingabedaten bringen KI-Algorithmen dazu, völlig falsche Ergebnisse zu liefern. Ein Beispiel aus der Industrie: Ein leicht manipuliertes Bild eines Bauteils wird von der KI-gestützten Qualitätskontrolle als fehlerfrei eingestuft, obwohl ein Defekt vorliegt. Robuste Modelle, die gegen solche Angriffe gehärtet sind, erfordern spezielles Adversarial Training während der Entwicklung.
Wie schützen Unternehmen ihre KI-Anwendungen wirksam?
KI-Sicherheit ist kein einzelnes Tool, sondern ein Zusammenspiel aus technischen, organisatorischen und regulatorischen Maßnahmen. Die folgende Tabelle zeigt die vier zentralen Schutzebenen mit konkreten Methoden für jede Ebene.
| Schutzebene | Maßnahme | Ziel |
|---|---|---|
| Eingabekontrolle | Input-Validierung, Prompt-Filter, Rate Limiting | Manipulierte Anfragen erkennen und blockieren |
| Datensicherheit | Verschlüsselung, Zugriffskontrollen, Datenklassifizierung | Trainingsdaten und Ergebnisse vor unbefugtem Zugriff schützen |
| Modellhärtung | Adversarial Training, Red Teaming, robuste Algorithmen | KI-Modelle widerstandsfähig gegen Angriffe machen |
| Monitoring | Logging, Anomalieerkennung, kontinuierliche Überwachung | Angriffe und Fehlfunktionen in Echtzeit erkennen |
Für Unternehmen, die KI-Anwendungen in der Cloud betreiben, kommt eine fünfte Ebene hinzu: die Absicherung der Cloud-Infrastruktur selbst. Dazu gehören Netzwerksegmentierung, verschlüsselte Datenübertragung und die Prüfung der Sicherheitszertifizierungen des Cloud-Anbieters. Welche Ebene Priorität hat, hängt vom konkreten Einsatzszenario ab.
Praktisches Beispiel: KI-Chatbot absichern
Ein mittelständischer Versicherungsmakler betreibt einen KI-Chatbot für die Kundenberatung. Die IT-Abteilung setzt drei Maßnahmen um:
- Ein Prompt-Filter prüft jede Nutzereingabe auf bekannte Injection-Muster, bevor sie an das Sprachmodell weitergeleitet wird.
- Das System hat keinen direkten Zugriff auf die Kundendatenbank. Es arbeitet nur mit anonymisierten Kontextdaten.
- Ein Monitoring-Dashboard protokolliert alle Anfragen und schlägt Alarm, wenn ungewöhnliche Abfragemuster auftreten.
Ergebnis:
- Kundenanfragen werden zuverlässig beantwortet
- Kein Abfluss sensibler Daten möglich
- Manipulationsversuche werden erkannt und dokumentiert
Was fordert der EU AI Act für die KI-Sicherheit?
Der EU AI Act ist seit August 2024 in Kraft und bildet den weltweit ersten umfassenden Rechtsrahmen für künstliche Intelligenz. Für Unternehmen im DACH-Raum bedeutet das konkrete Pflichten mit festen Fristen. Wer die Umsetzung verschiebt, riskiert empfindliche Strafen.
Das Gesetz teilt KI-Systeme in vier Risikoklassen ein:
- Verbotene KI-Praktiken - seit Februar 2025 untersagt, z.B. Social Scoring und manipulative KI
- Hochrisiko-KI - strenge Anforderungen ab August 2026, z.B. KI in Personalauswahl und Kreditvergabe
- KI mit begrenztem Risiko - Transparenzpflichten, z.B. Kennzeichnung KI-generierter Inhalte
- KI mit minimalem Risiko - keine besonderen Auflagen
Für Hochrisiko-KI-Systeme verlangt der AI Act unter anderem ein Risikomanagementsystem, technische Dokumentation, die Gewährleistung der Datenqualität und eine menschliche Aufsicht. Die Bußgelder bei Verstößen reichen bis zu 35 Millionen Euro oder 7 Prozent des weltweiten Jahresumsatzes. Auch für KI-Systeme mit begrenztem Risiko gelten Transparenzpflichten: Nutzer müssen wissen, wenn sie mit einer KI interagieren.
Für den Mittelstand heißt das konkret: Jedes Unternehmen sollte seine KI-Anwendungen den Risikoklassen zuordnen und prüfen, welche Dokumentations- und Sicherheitspflichten daraus folgen. Wer sich vertieft mit den Pflichten und Fristen auseinandersetzen will, findet in unserem Leitfaden zum EU AI Act für Unternehmen eine vollständige Übersicht mit Checkliste.
Wie bauen Mittelständler ein KI-Sicherheitskonzept auf?
Ein KI-Sicherheitskonzept muss nicht von Anfang an perfekt sein. Entscheidend ist, dass Unternehmen systematisch vorgehen und mit den größten Risiken beginnen. Das folgende Reifegrad-Modell hilft bei der Standortbestimmung.
| Stufe | Bezeichnung | Typische Merkmale |
|---|---|---|
| 1 | Keine Absicherung | KI-Tools werden ohne Richtlinien genutzt, keine Zugriffskontrollen |
| 2 | Basis-Schutz | Zugriffsrechte definiert, DSGVO-Grundlagen umgesetzt |
| 3 | Strukturierte Sicherheit | Risikoanalyse durchgeführt, Monitoring aktiv, Mitarbeiter geschult |
| 4 | Proaktive Sicherheit | Red Teaming, regelmäßige Audits, Incident-Response-Plan für KI |
Die meisten Mittelständler starten auf Stufe 1 oder 2. Der Weg zu Stufe 3 lässt sich in fünf Schritten umsetzen:
Schritt 1: Bestandsaufnahme. Welche KI-Systeme sind im Einsatz? Welche Daten verarbeiten sie? Wer hat Zugriff? Viele Unternehmen stellen bei dieser Analyse fest, dass Mitarbeiter bereits KI-Tools nutzen, die niemand offiziell freigegeben hat. Dieses Phänomen heißt Shadow AI und betrifft Organisationen jeder Größe.
Schritt 2: Risikoklassifizierung. Bewerten Sie jedes KI-System nach dem Schadenspotenzial. Was passiert im schlimmsten Fall, wenn dieses System kompromittiert wird? Ein interner Textassistent hat ein anderes Risikoprofil als eine KI, die Kreditentscheidungen vorbereitet. Die Einstufung orientiert sich an den Risikoklassen des EU AI Act.
Schritt 3: Richtlinien und Prozesse. Definieren Sie verbindliche Regeln für den KI-Einsatz: Welche Daten dürfen in welche KI-Systeme fließen? Wer genehmigt neue KI-Tools? Wie werden KI-Ergebnisse geprüft? Diese Richtlinien sollten auch den DSGVO-konformen Einsatz von KI abdecken.
Schritt 4: Technische Schutzmaßnahmen. Setzen Sie die Maßnahmen aus der Schutzebenen-Tabelle um, priorisiert nach dem Risiko aus Schritt 2. Beginnen Sie mit Zugriffskontrollen und Input-Validierung, bevor Sie in fortgeschrittene Methoden wie Adversarial Training investieren.
Schritt 5: Kontinuierliche Überwachung. KI-Sicherheit ist kein einmaliges Projekt. Richten Sie ein Monitoring ein, das Anomalien in der Nutzung und in den Ergebnissen Ihrer KI-Systeme erkennt. Planen Sie regelmäßige Überprüfungen ein, mindestens einmal pro Quartal. Dieser Fahrplan lässt sich gut in eine bestehende KI-Strategie einbetten, sodass Sicherheit von Anfang an mitgedacht wird.
Welche Rolle spielen Trainingsdaten für sichere KI?
Die Qualität und Integrität der Trainingsdaten bestimmt maßgeblich, wie sicher und zuverlässig ein KI-System arbeitet. Fehlerhafte, verzerrte oder manipulierte Trainingsdaten führen zu Modellen, die systematisch falsche oder diskriminierende Entscheidungen treffen. Drei Aspekte sind für den Betrieb besonders relevant.
Datenherkunft prüfen. Wissen Sie, woher Ihre Trainingsdaten stammen? Frei verfügbare Datensätze aus dem Internet können urheberrechtlich geschützt, veraltet oder absichtlich vergiftet sein. Forschungseinrichtungen wie das Fraunhofer IAIS empfehlen, die Herkunft jedes Datensatzes zu dokumentieren und nur geprüfte Quellen zu verwenden.
Bias erkennen und reduzieren. Wenn Trainingsdaten bestimmte Gruppen über- oder unterrepräsentieren, übernimmt die KI diese Verzerrung. Ein Beispiel: Ein KI-Recruiting-Tool, das überwiegend mit Lebensläufen männlicher Bewerber trainiert wurde, benachteiligt Bewerberinnen systematisch. Regelmäßige Bias-Audits sind deshalb Pflicht, auch aus gesellschaftlicher Verantwortung heraus.
Daten vor Manipulation schützen. Trainingsdaten müssen gegen unbefugten Zugriff gesichert sein. Dazu gehören Zugriffskontrollen, Versionierung und Integritätsprüfungen. Jede Änderung an den Daten muss nachvollziehbar sein, damit manipulierte Datensätze schnell identifiziert werden können. Unternehmen, die eigene Modelle trainieren oder bestehende Modelle per Fine-Tuning anpassen, sollten ihre Trainingsdaten wie andere geschäftskritische Daten behandeln und entsprechend sichern.
KI-Sicherheit als laufende Aufgabe
KI-Sicherheit ist keine einmalige Maßnahme, sondern ein fortlaufender Prozess. Die Bedrohungslandschaft verändert sich ständig, neue Angriffsmethoden entstehen und regulatorische Anforderungen wie der EU AI Act setzen neue Standards. Unternehmen, die KI-Sicherheit frühzeitig in ihre Prozesse und ihre Betriebsabläufe integrieren, vermeiden nicht nur Bußgelder und Datenverluste. Sie schaffen robuste Grundlagen für den verantwortungsvollen und skalierbaren Einsatz von künstlicher Intelligenz.
Der wichtigste erste Schritt: Verschaffen Sie sich einen Überblick über alle KI-Systeme in Ihrem Unternehmen und bewerten Sie deren Risiken. Alles andere baut darauf auf.
Sie möchten KI in Ihrem Unternehmen sicher einsetzen? Sprechen Sie uns an - wir beraten Sie unverbindlich.
Häufige Fragen
Was versteht man unter KI-Sicherheit?
KI-Sicherheit umfasst alle Maßnahmen, die KI-Systeme vor Angriffen, Manipulation und Missbrauch schützen. Dazu gehören technische Schutzmechanismen wie Input-Validierung und Monitoring, organisatorische Richtlinien für den KI-Einsatz sowie die Einhaltung regulatorischer Vorgaben wie dem EU AI Act und der DSGVO.
Welche Angriffe zielen speziell auf KI-Systeme ab?
Die vier häufigsten KI-spezifischen Angriffe sind Prompt Injection, Data Poisoning, Adversarial Attacks und Modelldiebstahl. Prompt Injection manipuliert die Eingaben an Sprachmodelle, Data Poisoning vergiftet die Trainingsdaten, Adversarial Attacks täuschen KI durch minimale Datenveränderungen und Modelldiebstahl kopiert die Logik proprietärer Modelle.
Ist der Einsatz von ChatGPT im Unternehmen ein Sicherheitsrisiko?
Der Einsatz von ChatGPT und anderen Cloud-basierten KI-Diensten birgt Risiken, wenn sensible Unternehmensdaten ohne Schutzmaßnahmen eingegeben werden. Unternehmen sollten klare Richtlinien definieren, welche Daten in externe KI-Systeme fließen dürfen. Enterprise-Versionen mit Datenschutzvereinbarungen und ohne Nutzung der Eingaben für das Modelltraining reduzieren das Risiko erheblich.
Was ist Prompt Injection und wie schützt man sich dagegen?
Bei Prompt Injection schleusen Angreifer manipulierte Eingaben in ein KI-System ein, um dessen Verhalten zu ändern. Schutzmaßnahmen umfassen Input-Filter, die bekannte Angriffsmuster erkennen, die Trennung von System- und Nutzer-Prompts sowie die Einschränkung der Zugriffsrechte des KI-Systems auf sensible Daten und Funktionen.
Müssen kleine Unternehmen den EU AI Act beachten?
Der EU AI Act gilt für alle Unternehmen, die KI-Systeme entwickeln, vertreiben oder einsetzen, unabhängig von der Unternehmensgröße. Entscheidend ist nicht die Mitarbeiterzahl, sondern die Risikoklasse des eingesetzten KI-Systems. Für KI mit minimalem Risiko gelten keine besonderen Auflagen, für Hochrisiko-KI dagegen strenge Anforderungen ab August 2026.
Welche Standards und Frameworks gibt es für KI-Sicherheit?
Wichtige Orientierungspunkte sind der OWASP Top 10 for LLM Applications, die BSI-Empfehlungen für KI-Sicherheit, der ISO/IEC 42001 Standard für KI-Managementsysteme und das NIST AI Risk Management Framework. Für Unternehmen im DACH-Raum sind die BSI-Richtlinien und der EU AI Act die verbindlichsten Vorgaben.
Wie erkennt man, ob ein KI-System manipuliert wurde?
Anzeichen für eine Manipulation sind plötzliche Veränderungen in der Ausgabequalität, unerwartete Antwortmuster und Abweichungen von bekannten Benchmarks. Ein kontinuierliches Monitoring mit Anomalieerkennung hilft, solche Veränderungen frühzeitig zu identifizieren. Regelmäßige Audits und Red-Teaming-Übungen decken Schwachstellen auf, bevor Angreifer sie ausnutzen.
Was kostet die Absicherung von KI-Systemen?
Die Kosten hängen stark vom Umfang und der Risikoklasse der eingesetzten KI ab. Grundlegende Maßnahmen wie Zugriffskontrollen und Richtlinien verursachen geringe Zusatzkosten. Fortgeschrittene Methoden wie Red Teaming und Adversarial Training erfordern Spezialistenwissen und können zwischen 10.000 und 50.000 Euro pro Jahr kosten. Im Vergleich zu den potenziellen Schäden durch Datenlecks oder Bußgelder ist das eine lohnende Investition.
Wer ist im Unternehmen für KI-Sicherheit verantwortlich?
Die Verantwortung für KI-Sicherheit liegt beim Management, auch wenn die operative Umsetzung bei der IT-Abteilung oder einem dedizierten KI-Team liegt. Der EU AI Act fordert eine klare Zuordnung der Verantwortlichkeiten. Viele Unternehmen benennen einen KI-Beauftragten, der Sicherheitsrichtlinien koordiniert und als Schnittstelle zwischen Fachabteilungen, IT und Geschäftsführung fungiert.
Wie hängen KI-Sicherheit und Datenschutz zusammen?
KI-Sicherheit und Datenschutz überschneiden sich stark, sind aber nicht identisch. Datenschutz nach DSGVO regelt den Umgang mit personenbezogenen Daten. KI-Sicherheit geht weiter und schützt auch vor Angriffen auf die Modelle selbst, vor Manipulation der Ergebnisse und vor dem Diebstahl geistigen Eigentums. Beide Bereiche sollten in einem gemeinsamen Konzept adressiert werden.
Sie möchten KI in Ihrem Unternehmen einsetzen? Sprechen Sie uns an - wir beraten Sie unverbindlich.