Luca Morelli
Software Engineer und Analyst
Teamleiter

Sicherheit einer KI-Anwendung: was sie sehen kann, was sie tun darf, wer sie kontrolliert.

Eine KI-Anwendung liest Dokumente, greift auf Daten zu und führt manchmal Aktionen aus. Die Risiken hängen weniger vom Modell ab als von drei Dingen, über die das Unternehmen entscheidet: auf welche Daten das System zugreifen kann, was es selbstständig tun darf und wer es kontrolliert.

Auf welche Daten kann das System zugreifen?

Das System darf einer Person keine Daten zeigen, die diese Person nicht auch direkt einsehen dürfte.

Diese Kontrolle übernimmt der Code der Anwendung, nicht das Modell: Die Anweisungen an das Modell sind ein Teil der Abwehr, die entscheidenden Kontrollen setzt jedoch das System durch.

Ein Dokument, eine Webseite oder eine Nachricht können versteckte Anweisungen enthalten, die das System täuschen sollen (im Fachjargon: Prompt Injection). Deshalb ist alles, was das System liest, als nicht vertrauenswürdiger Inhalt zu behandeln, niemals als Befehl.

Ein konkreter Fehler: die Frage, falsch gelesen und unbemerkt

Was darf das System selbstständig tun?

Wenn das System Aktionen ausführen kann – etwa eine Nachricht senden, einen Datensatz ändern oder eine Bestellung auslösen –, lege ich für jede fest, was es tun darf und mit welchen Rechten: das notwendige Minimum. So richtet eine falsche oder bösartige Anfrage weniger Schaden an.

  • Vor der Ausführung prüfen, an wen oder worauf sich die Aktion richtet.
  • Für wichtige Vorgänge die Bestätigung einer Person einholen.
  • Versuche, Dauer und Ausgaben begrenzen und einen Punkt festlegen, an dem abgebrochen wird.
  • Aktionen protokollieren, mit Rücksicht auf sensible Daten, um nachvollziehen zu können, was geschehen ist.

Ein System, das mehr Werkzeuge bedienen kann, sollte deshalb nicht mehr Befugnisse erhalten.

Wer kontrolliert, und was geschieht bei Fehlern?

Neben Funktionstests führe ich gezielt Angriffstests durch: Anfragen, die täuschen sollen, Versuche, auf fremde Daten zuzugreifen, Inhalte, die das System umlenken sollen. Ich prüfe vor allem, ob die Grenzen auch dann halten, wenn das Modell Fehler macht.

Jede Änderung an Modell, Daten oder Anweisungen erfordert neue Tests. Wer den Dienst überwacht, wer Meldungen entgegennimmt und wie auf einen Vorfall reagiert wird, muss vor der Veröffentlichung festgelegt werden. Das ist eine fortlaufende Aufgabe, deren Umfang sich nach den Folgen möglicher Fehler richtet.

Software prüfen, die mit Agenten entwickelt wurde

Im eigenen Haus oder beim Anbieter: Keine der beiden Lösungen ist von sich aus sicher

Ein Modell, das im Unternehmen läuft, ist nicht schon deshalb sicher, weil es im eigenen Haus steht: Es braucht Wartung, Aktualisierungen und Zugriffskontrolle. Ein externer Dienst ist nicht schon deshalb sicher, weil er von einem großen Anbieter stammt. Es zählt die konkrete Konfiguration: woher das Modell stammt und in welcher Version, welche Komponenten es nutzt, wer darauf zugreift und welchen Weg die Daten nehmen.

Daten und Vorgaben in der Machbarkeitsprüfung

Warum der Schutz regelmäßig überprüft werden muss

Die NIST-Bewertung von GLM-5.3 vom September 2026 zeigt fortgeschrittene Fähigkeiten für Cyberangriffe bei einem frei herunterladbaren Modell, in aggregierten Tests noch unterhalb der besten US-Modelle. Sie zeigt, dass sich diese Fähigkeiten verbreiten, nicht, wie viele Angriffe tatsächlich stattfinden.

Daraus leite ich ab, regelmäßig zu überprüfen, gegen wen man sich verteidigen muss: Wer kann das System angreifen, mit welchen Werkzeugen, welche Daten oder Funktionen sind erreichbar und welcher Schaden kann entstehen? Bei einem aus dem Internet erreichbaren Dienst halte ich deshalb die bewährten Maßnahmen für noch wichtiger: Schwachstellen beheben, Komponenten aktualisieren, Zugangsdaten schützen. Dieselben KI-Werkzeuge können auch die Verteidigung unterstützen; ihre Befunde müssen jedoch geprüft werden.

Der Modellvergleich und seine Grenzen

Quellen zur Einordnung

Die Cyber-Bewertungen beschreiben die genannten Modelle und Tests. Die OWASP-Quellen erläutern Anwendungsrisiken; betriebliche Entscheidungen müssen zum konkreten System passen.

Inhalt zuletzt aktualisiert am

Bewerten Sie die Risiken einer KI-Anwendung?

Ausführlicher Lebenslauf und Referenzen auf Anfrage verfügbar.