KI-Governance und Sicherheit: ein operativer Rahmen für Schweizer Unternehmen

ENTSCHEIDUNGSHILFE · GOVERNANCE

Die Kontrolle an den Folgen ausrichten

Risiko hängt nicht vom Namen eines Modells ab. Es hängt von den betroffenen Daten ab, davon, was das System tun darf, und davon, wie leicht ein Fehler erkannt und behoben wird.

01Stufe → Mindestkontrollen

01Stufe 1

Entwürfe oder Recherche für den internen Gebrauch

freigegebenes Tool · Grundschulung · Datenregel · im Inventar erfasst

02Stufe 2

das Ergebnis geht an Kunden oder beeinflusst einen fachlichen Entscheid

benannte Prüfperson · Testset vor der Inbetriebnahme · Fehler werden verfolgt

03Stufe 3

handelt in Ihrer Software, berührt geschützte Daten oder einen Entscheid über eine Person

formeller Entscheid · Folgenabschätzung falls nötig · minimale Rechte · Bestätigung · Protokollierung · sofortiger Stopp

Eine Schnellspur für Stufe 1; die strengste Governance für Anwendungen, die echten Schaden anrichten können.

02Fünf Schritte, ein Dossier

01Erfassen→

02Einstufen→

03Kontrollieren→

04Prüfen→

05Reagieren→

KI-Governance scheitert, wenn sie ein Richtliniendokument bleibt. Die Teams müssen wissen, welche Systeme es gibt, was diese tun dürfen, welche Kontrollen gelten und welche Nachweise verlangt werden, bevor eine riskantere Anwendung in Betrieb geht. Sie scheitert aber auch, wenn sie zu schwerfällig ist: Muss jede Anwendung durch dasselbe Gremium, wird die Arbeit eben ausserhalb erledigt, auf privaten Konten.

Dieser Rahmen richtet sich an Geschäftsleitungen von Unternehmen, die mehrere KI-Anwendungen und KI-Projekte führen. Er besteht aus sechs Elementen.

1. Ein laufend nachgeführtes Inventar

Beginnen Sie bei den KI-Anwendungen, nicht nur bei den zugelassenen Anbietern. Halten Sie für jede Anwendung fest: verantwortliche Person im Fachbereich, Nutzende, betroffener Prozess, Datenkategorien, Tool oder Modell, Verbindungen zu anderer Software und Wirkung auf Entscheidungen. Nehmen Sie auch die KI auf, die in bereits genutzter Software steckt, und die nicht gemeldeten Nutzungen, sofern sie ins Gewicht fallen.

Das Inventar wird zur Grundlage für alles Weitere: Einstufung, Kontrollen, Reaktion auf Vorfälle. Es muss mit Beschaffung und Projekten mitleben (jedes neue Tool und jedes neue Projekt wird erfasst) und darf nicht von einer jährlichen Umfrage abhängen.

2. Drei Kontrollstufen

Dasselbe Modell kann einer harmlosen oder einer kritischen Anwendung dienen. Eingestuft wird deshalb die tatsächliche Anwendung, anhand von sechs Fragen:

Die stärkste Antwort bestimmt die Stufe; einen Durchschnitt bildet man nicht, denn er würde ein echtes Risiko verwischen.

• Stufe 1: Die KI formuliert oder sucht für den internen Gebrauch. Zugelassenes Business-Tool, Grundschulung, Regel zu den Daten, einfacher Eintrag im Inventar.
• Stufe 2: Das Ergebnis geht an einen Kunden oder beeinflusst einen geschäftlichen Entscheid. Zusätzlich: Eine namentlich bestimmte Person prüft, vor der Inbetriebnahme wird eine repräsentative Testreihe durchgespielt, Fehler werden verfolgt.
• Stufe 3: Das System handelt in Ihrer Software, berührt geschützte Daten oder einen Entscheid über eine Person. Zusätzlich: formeller Entscheid einer verantwortlichen Person, Datenschutz-Folgenabschätzung, wo das nDSG sie verlangt, minimale Rechte, ausdrückliche Bestätigung unumkehrbarer Aktionen, Protokollierung, Möglichkeit zum sofortigen Stopp.

Das Ergebnis ist ein Satz pro Anwendung, kein Etikett auf einem Modell. «Claude ist risikolos» sagt nichts aus. «Der Schadenassistent formuliert Antworten auf Grundlage der freigegebenen allgemeinen Versicherungsbedingungen, versendet nie selbst etwas, und jede Antwort wird von einer namentlich bestimmten Sachbearbeiterin oder einem Sachbearbeiter geprüft» ist ein Satz, den man kontrollieren kann.

3. Eine Bibliothek wiederverwendbarer Kontrollen

Jede Kontrolle ist ein Baustein, den ein Team seiner Anwendung zuordnet, mit einer verantwortlichen Person, einer Umsetzungsweise, einem erzeugten Nachweis und einem Prüfrhythmus.

• Identitäten und Zugriffe. Konten aus dem Verzeichnisdienst des Unternehmens, Administratoren getrennt von den Nutzenden, Zugriffe beim Austritt oder Funktionswechsel entzogen. Bei einem Agenten hat die technische Identität weniger Rechte als die Person, die er unterstützt: «Die Nutzerin hat Zugriff darauf» heisst noch nicht «Der Agent darf damit handeln».
• Datenumfang. Zugelassene Quellen, Ausschlüsse, Aufbewahrungsdauer, Ort der Bearbeitung, erlaubte Ziele der Ergebnisse. Zugriffsrechte auf Dokumente werden bei der Suche durchgesetzt und nicht einer Anweisung wie «Gib keine vertraulichen Informationen preis» überlassen.
• Qualität und Tests. Eine versionierte Testreihe: häufige Fälle, mehrdeutige Fälle, Fallen, mehrsprachige Fälle, bekannte frühere Fehler. Festgehalten wird, warum ein Test scheitert, wie schwer der Fehler wiegt und ob eine Person ihn bemerkt hätte.
• Kontrolle der Aktionen. Lesen, Vorschlagen und Ausführen werden getrennt. Die Parameter einer Aktion prüft die Software, nicht das Modell; eine Zahlung, ein Versand an einen Kunden oder eine Löschung wird von einer Person bestätigt.
• Spuren. Genug Informationen, um zu rekonstruieren, was geschehen ist (Anwendung, Nutzer, Modellversion, aufgerufene Tools, Entscheid der prüfenden Person, Kosten), ohne die Mitarbeitenden unverhältnismässig zu überwachen.

4. Generative KI ist eine Angriffsfläche

In einem Dokument versteckte Anweisungen, Datenabfluss über ein angebundenes Tool, ein Agent mit zu vielen Rechten, manipulierter Kontext: Das sind Systemrisiken, die ein blosser Aufruf zur Vorsicht nicht löst. Beschreiben Sie die ganze Kette (Nutzer, Oberfläche, Steuerung, angebundene Tools, Dokumentensuche, Modell, Empfänger der Ergebnisse), reduzieren Sie die Rechte, isolieren Sie nicht vertrauenswürdige Inhalte und verlangen Sie eine Bestätigung für verbindliche Aktionen. Die OWASP Top 10 für LLM-Anwendungen sind eine gute erste Liste.

5. Eine Governance, die schnell antwortet

Eine Governance, die nur Nein sagen kann, erzeugt nicht gemeldete Nutzungen. Besser ist eine Dienstleistung mit bekannter Anlaufstelle, wiederverwendbaren Vorlagen und veröffentlichten Antwortfristen:

• Stufe 1: schneller Weg. Zugelassenes Tool, Schulung besucht, Eintrag im Inventar, Antwort innert weniger Tage.
• Stufe 2: Standarddossier (Steckbrief der Anwendung, Datenfluss-Skizze, Testergebnisse) und eine namentlich bestimmte prüfende Person.
• Stufe 3: Entscheid eines kleinen Gremiums, mit einer Gegenmeinung.

Veröffentlichen Sie die Fragen, die Sie stellen werden, bevor ein Team mit dem Bauen beginnt: Die Projekte kommen dann besser vorbereitet.

Eine kurze monatliche Überprüfung genügt, mit vier festen Punkten: Veränderungen im Inventar (neue Anwendungen, Änderungen, Stilllegungen), Stand der Kontrollen (Ausnahmen bei Zugriffen, schlechtere Testergebnisse, überfällige Prüfungen, Änderungen bei Anbietern), Vorfälle und Beinahe-Vorfälle, anstehende Entscheide. Prüfen Sie jedes Quartal, ob die Stufen noch stimmen: Eine Anwendung rückt in Stufe 2 auf, sobald ihre Ergebnisse das Unternehmen verlassen.

6. Namentlich bestimmte Verantwortliche

Jede Anwendung hat drei Verantwortliche: eine Person im Fachbereich für Zweck und Ergebnisse, eine technisch verantwortliche Person für Umsetzung und Betrieb, eine für die Risiken verantwortliche Person, die die Kontrollen akzeptiert. Recht, Sicherheit, Datenschutz und Einkauf bringen ihr Fachwissen ein; sie werden aber nicht automatisch für jedes KI-Ergebnis verantwortlich.

Der Test für die Geschäftsleitung

Die Frage ist nicht, ob das Unternehmen eine KI-Richtlinie hat, sondern ob es für jede wichtige Anwendung zeigen kann, wer sie bewilligt hat, mit welchen Kontrollen und mit welchen Ergebnissen. Das Mindestdossier der Geschäftsleitung enthält das Inventar nach Stufen, die offenen Ausnahmen, wesentliche Änderungen bei Anbietern und Modellen, die Vorfälle und die anstehenden Entscheide.

Drei Signale verlangen sofortiges Handeln: Das Inventar zählt weniger Anwendungen, als den Mitarbeitenden Tools zur Verfügung stehen; die Regel verbietet ein Verhalten, das das zugelassene Tool am einfachsten macht; niemand kann erklären, warum eine Anwendung der Stufe 3 bewilligt wurde. Das sind Konstruktionsfehler, keine Schulungslücken.

Wo Sie anfangen

In einem Unternehmen mit einigen hundert Mitarbeitenden lassen sich Inventar, Einstufung der bestehenden Anwendungen, erste Kontrollen und monatliche Überprüfung innerhalb eines Quartals einrichten. Wir tun das im Rahmen der KI-Begleitung: zum Festpreis gemäss Offerte oder im Abonnement (Modell Einführung für CHF 5'100 pro Monat und 30 Stunden oder Transformation für CHF 9'600 und 60 Stunden, Mindestlaufzeit drei Monate). Die technischen Kontrollen eines Agenten oder einer Integration (Rechte, Spuren, Bestätigungen) gehören zum Angebot KI-Engineering. Die rechtlichen Pflichten, die einzubeziehen sind, erläutert die Analyse nDSG, AI Act und generative KI.