KI-Governance-System aufbauen

Fünf Schritte für den Einstieg

Ab dem 2. August 2026 gelten für Anbieter und bestimmte Betreiber von Hochrisiko-KI-Systemen u. a. Pflichten zu einem dokumentierten Qualitätsmanagementsystem und einem systematischen Risikomanagement über den gesamten Lebenszyklus. Für viele Unternehmen stellt sich damit eine operative Frage: Wie baut man ein KI-Governance-System auf, das die Anforderungen der KI-Verordnung erfüllt, in bestehende Compliance-Strukturen passt und nicht an der Komplexität des Themas scheitert? Dieser Beitrag strukturiert den Einstieg in fünf Schritte und ordnet die regulatorischen Anforderungen in einen praktikablen Handlungsrahmen ein.

Ein KI-Governance-System ist der organisatorische und dokumentierte Rahmen für Risikomanagement, menschliche Aufsicht und Qualitätsmanagement nach Art. 9, 14 und 17 der EU-KI-Verordnung für Hochrisiko-KI-Systeme.

Die regulatorischen Eckpfeiler: Art. 9, Art. 14 und Art. 17

Drei Artikel der KI-Verordnung bilden das Fundament jedes KI-Governance-Systems für Hochrisiko-Anwendungen.

Art. 9 verlangt ein Risikomanagementsystem, das über den gesamten Lebenszyklus des KI-Systems angewendet und regelmäßig überprüft wird. Der Prozess ist iterativ und umfasst vier Kernschritte: die Identifikation und Analyse von Risiken für Gesundheit, Sicherheit und Grundrechte; die Bewertung dieser Risiken; die Implementierung von Maßnahmen zur Risikominderung durch Design, technische Absicherung und Nutzerinformation; und die Dokumentation verbleibender Risiken als akzeptabel. Art. 9 verlangt zudem Tests über den gesamten Lebenszyklus und verstärkte Risikoanalyse und ggf. zusätzliche Tests, wenn das System Kinder oder vulnerable Gruppen betreffen kann.

Art. 14 verlangt, dass Hochrisiko-KI-Systeme so gestaltet sind, dass eine wirksame menschliche Aufsicht möglich ist. Die Verordnung verlangt u. a., dass beaufsichtigende Personen die Fähigkeiten und Grenzen des Hochrisiko‑KI‑Systems verstehen, Anomalien erkennen können, Automation‑Bias vermeiden und die Ergebnisse korrekt interpretieren können. Die Intensität der menschlichen Aufsicht muss proportional zum Risiko, zur Autonomie des Systems und zum Nutzungskontext sein.

Art. 17 verlangt ein dokumentiertes Qualitätsmanagementsystem, das proportional zur Unternehmensgröße ausgestaltet sein muss. Die Verordnung benennt mehr als zehn Komponenten, die das QMS abdecken muss: eine Compliance-Strategie und Verfahren zur Einhaltung der Verordnung, Verfahren für Design und Entwicklung, Testing und Validierung, technische Spezifikationen und Standards, Datenmanagement und Daten-Governance, das Risikomanagementsystem nach Art. 9, Post-Market-Monitoring, Verfahren für Incident Reporting, Kommunikationsprozesse mit Behörden und Betroffenen, Aufzeichnungspflichten sowie Ressourcenmanagement und Rechenschaftsstrukturen.

Art. 9 und Art. 17 stehen in einem klaren Verhältnis zueinander: Art. 9 definiert den technisch-inhaltlichen Kern des Risikomanagements. Art. 17 strukturiert diesen Kern organisatorisch und dokumentarisch – wer ist verantwortlich, in welchen Prozessen, mit welchen Nachweisen. Ein Unternehmen, das Art. 17 erfüllen will, braucht Art. 9 als inhaltliche Grundlage. Umgekehrt kann ein Risikomanagementsystem nach Art. 9 nur wirken, wenn es in die organisatorische Struktur eines QMS eingebettet ist.

Fünf Schritte zum KI-Governance-System

Aus den regulatorischen Anforderungen lässt sich eine priorisierte Implementierungslogik ableiten.

Schritt 1: KI-Inventar erstellen. Bevor eine Klassifizierung oder Risikoanalyse stattfinden kann, braucht das Unternehmen eine vollständige Übersicht über alle eingesetzten KI-Systeme – entwickelte, zugekaufte, eingebettete, experimentelle. Das Inventar erfasst für jedes System: Bezeichnung, Anbieter oder interner Verantwortlicher, Einsatzzweck, betroffene Personengruppen, eingesetzte Daten, Entscheidungsrelevanz und aktuellen Status. Erste Erhebungen und Praxisberichte deuten darauf hin, dass, dass über die Hälfte deutscher Unternehmen kein vollständiges KI-Inventar führen. Häufig werden eingebettete KI-Funktionen in Standardsoftware oder durch Fachabteilungen eigenständig beschaffte Tools übersehen. Die praktische Empfehlung: Das Inventar sollte nicht nur IT-zentral, sondern auch durch Self-Assessment-Fragebögen in den Fachbereichen aufgebaut werden. Ein gutes KI-Inventar unterscheidet zwischen Systemen, die das Unternehmen als Anbieter verantwortet, und Systemen, die es als Betreiber einsetzt – denn die Pflichtenprofile unterscheiden sich grundlegend.

Schritt 2: Risikoklassifizierung durchführen. Jedes System im Inventar wird gegen die Kategorien der Verordnung geprüft: Ist es verboten (Art. 5)? Hochrisiko nach Anhang I oder Anhang III (Art. 6)? Greift eine Ausnahme nach Art. 6 Abs. 3? Unterliegt es Transparenzpflichten nach Art. 50? Ist es ein GPAI-basiertes System mit Downstream-Pflichten? Die Klassifizierung ist dokumentationspflichtig – auch für Systeme, die als nicht hochrisiko eingestuft werden.

Schritt 3: Gap-Analyse gegen die Verordnungsanforderungen. Für jedes als hochrisiko eingestufte System wird systematisch geprüft, welche der Anforderungen aus Art. 9 bis 15 und Art. 17 bereits erfüllt sind und wo Lücken bestehen. Die Gap-Analyse deckt typischerweise auf, dass Teile des Risikomanagements bereits existieren (etwa durch DSGVO-Folgenabschätzungen oder sektorale Anforderungen), aber nicht die Vollständigkeit und Dokumentationstiefe der KI-Verordnung erreichen. Konkret lässt sich die Gap-Analyse entlang der zehn QMS-Komponenten nach Art. 17 strukturieren: Für jede Komponente wird dokumentiert, ob sie vollständig, teilweise oder nicht abgedeckt ist, welche bestehenden Prozesse angepasst werden können und welcher Aufwand für die Schließung der Lücke geschätzt wird. Das Ergebnis ist eine priorisierte Maßnahmenliste, die als Grundlage für die Ressourcenplanung dient.

Schritt 4: Governance-Struktur und QMS aufbauen. Auf Basis der Gap-Analyse wird das Qualitätsmanagementsystem nach Art. 17 strukturiert. Dies umfasst die Festlegung von Rollen und Verantwortlichkeiten, die Erstellung von Verfahrensanweisungen, die Einrichtung von Dokumentationsprozessen und die Integration in bestehende Management-Systeme. In diesem Schritt werden die Schnittstellen zu Datenschutz, IT-Sicherheit, Produktsicherheit und sektoraler Compliance definiert.

Schritt 5: Betrieb, Monitoring und kontinuierliche Verbesserung. Ein KI-Governance-System ist kein einmaliges Projekt. Art. 9 verlangt regelmäßige Überprüfung und Aktualisierung, Art. 72 ein Post-Market-Monitoring-System. Das Unternehmen muss Prozesse etablieren, die Veränderungen am System, an den Daten oder am Nutzungskontext erkennen und bewerten. Incident Reporting, Feedback-Schleifen und periodische Audits sind Bestandteil des laufenden Betriebs. Das Post-Market-Monitoring nach Art. 72 verlangt eine aktive, systematische Datenerhebung über die Leistung des KI-Systems nach dessen Inverkehrbringen. Anbieter müssen einen Plan erstellen, der definiert, welche Daten erhoben werden, mit welchen Methoden und in welchen Abständen. Die Ergebnisse fließen in die Aktualisierung des Risikomanagements zurück – ein geschlossener Regelkreis, der sicherstellt, dass das Governance-System mit dem System selbst mitwächst.

Organisatorische Verankerung: Rollen und Strukturen

Die KI-Verordnung schreibt keine bestimmte Organisationsform vor. Die Governance-Struktur muss zur Unternehmensgröße, zur Anzahl und Kritikalität der KI-Systeme und zur bestehenden Compliance-Organisation passen. In der Praxis kristallisieren sich drei Ebenen heraus.

Auf strategischer Ebene braucht es eine Führungsrolle, die die Gesamtverantwortung für KI-Governance trägt, ob als dedizierter Chief AI Officer, als Erweiterung des Verantwortungsbereichs eines CDO oder CIO oder als Aufgabe eines KI-Governance-Boards. Diese Ebene verantwortet die KI-Strategie, die Risikotoleranz und die Ressourcenallokation.

Auf operativer Ebene braucht es Fachverantwortliche, die das QMS pflegen, Risikobewertungen koordinieren und als Ansprechpartner für Aufsichtsbehörden fungieren. In größeren Organisationen ist dies ein dediziertes KI-Compliance-Team; in kleineren Organisationen kann es eine Erweiterung bestehender Compliance-Funktionen sein.

Auf der Ebene der menschlichen Aufsicht braucht es qualifizierte Personen in den Fachabteilungen, die die Anforderungen nach Art. 14 operativ umsetzen. Sie überwachen die Systemausgaben, erkennen Anomalien und können bei Bedarf eingreifen. Ihre Qualifikation muss dokumentiert sein.

Die Verknüpfung mit dem Datenschutzbeauftragten ist dabei nicht optional, sondern sachlogisch geboten. Die Überlappung zwischen KI-Verordnung und DSGVO ist erheblich – bei Daten-Governance, bei der Folgenabschätzung, bei Betroffenenrechten und bei der Aufsichtskommunikation.

Bestehende Standards als Orientierung

Unternehmen, die bereits Management-Systeme nach ISO-Normen betreiben, können auf diesen Strukturen aufbauen.

ISO 42001, veröffentlicht im Dezember 2023, definiert ein KI-Management-System und deckt etwa 40 bis 50 Prozent der Anforderungen des EU AI Act ab. Die Norm bietet eine Struktur für Governance, Risikomanagement und Lebenszyklusmanagement, ist aber freiwillig und ersetzt nicht die spezifischen Vorgaben der Verordnung. ISO/IEC 23894 ergänzt dies durch einen detaillierten Leitfaden für KI-Risikomanagement auf Basis der ISO 31000.

Die harmonisierte Norm prEN 18286 hätte die direkte Konformitätsvermutung mit Art. 17 ermöglichen sollen. Nach dem gescheiterten Enquiry-Votum im Januar 2026 befindet sich die Norm in der Revision. Eine Publikation im EU-Amtsblatt wird frühestens für Herbst 2026 erwartet. Bis dahin fehlt die formale Konformitätsvermutung, Unternehmen müssen die Anforderungen des Art. 17 direkt aus dem Verordnungstext ableiten.

Für Unternehmen mit bestehenden ISO-9001-Systemen ergibt sich ein pragmatischer Anknüpfungspunkt: Die Prozesslogik (Plan-Do-Check-Act), die Dokumentationsstruktur und das Auditverständnis sind übertragbar. Was fehlt, sind die KI-spezifischen Inhalte: Risikobewertung nach Art. 9, Daten-Governance nach Art. 10, Transparenz nach Art. 13 und die Anforderungen an menschliche Aufsicht nach Art. 14.

Der NIST AI Risk Management Framework bietet einen ergänzenden Referenzpunkt, auch wenn er auf den US-Markt ausgerichtet ist. Die vier Kernfunktionen des NIST-Rahmenwerks – Govern, Map, Measure, Manage – lassen sich als strukturelle Blaupause nutzen, die mit den spezifischen Vorgaben der EU-KI-Verordnung ausgefüllt wird. In der Praxis empfiehlt sich ein kombinierter Ansatz: ISO 42001 für die Managementsystem-Struktur, NIST AI RMF für die Risikomanagement-Funktionen und die EU-KI-Verordnung für die verbindlichen inhaltlichen Anforderungen. Dieser dreistufige Ansatz vermeidet Doppelarbeit und schafft Anschlussfähigkeit an internationale Anforderungen über den EU-Raum hinaus.

Die Implementierungsdauer für ein vollständiges KI-Management-System nach ISO 42001 wird in der Praxis auf acht bis zwölf Monate geschätzt. Für Unternehmen, die zum 2. August 2026 compliant sein müssen, ist der Zeitrahmen damit eng. Der pragmatische Ansatz: die kritischen Elemente – Inventar, Klassifizierung, Risikobewertung für die wichtigsten Systeme und Kernprozesse des QMS – priorisieren und die vollständige Systemreife iterativ nachreifen lassen.

Typische Fallstricke und wie man sie vermeidet

Drei Herausforderungen treten in der Praxis besonders häufig auf.

Die erste ist Shadow AI (Schatten-IT): KI-Systeme, die ohne Wissen der Governance-Funktion im Unternehmen eingesetzt werden. Ein KI-Inventar, das nur zentral beschaffte Systeme erfasst, greift zu kurz. Fachabteilungen nutzen eigenständig KI-Tools für Textgenerierung, Datenanalyse oder Prozessautomatisierung. Das Governance-System muss Prozesse etablieren, die diese Nutzung sichtbar machen, etwa durch Beschaffungsrichtlinien, IT-Monitoring oder regelmäßige Self-Assessments der Fachbereiche.

Die zweite ist die Zuständigkeitsfrage. Wenn KI-Governance weder IT noch Compliance noch Datenschutz eindeutig zugeordnet ist, bleibt sie im Niemandsland. Die Lösung liegt nicht in einer einzigen zuständigen Stelle, sondern in einer klaren Rollenmatrix mit definierten Verantwortlichkeiten, Eskalationspfaden und Entscheidungsbefugnissen.

Die dritte ist die Übergranularität der Dokumentation. Art. 17 verlangt ein dokumentiertes QMS proportional zur Unternehmensgröße. Unternehmen, die versuchen, jede Anforderung mit maximaler Detailtiefe zu dokumentieren, bevor überhaupt ein System klassifiziert ist, verlieren sich. Der pragmatische Ansatz: zuerst die Systeme mit dem höchsten Risiko und der größten Sichtbarkeit dokumentieren, dann das System iterativ auf weitere Anwendungen ausweiten.

Fazit: Governance als Betriebsmodell, nicht als Projekt

Ein KI-Governance-System ist kein Einmal-Projekt mit definiertem Abschluss, sondern ein dauerhaftes Betriebsmodell. Die Verordnung verlangt kontinuierliche Überprüfung, Aktualisierung und Anpassung. Unternehmen, die jetzt mit den fünf Schritten beginnen, schaffen die Grundlage für eine belastbare Compliance-Position zum Stichtag 2. August 2026.

Drei Aspekte verdienen besondere Beachtung.

• Erstens: Das KI-Inventar ist der Ausgangspunkt, ohne den keine weitere Maßnahme sinnvoll priorisiert werden kann.
• Zweitens: Das QMS nach Art. 17 muss nicht bei null beginnen: ISO 42001, bestehende ISO-9001-Systeme und sektorale Management-Systeme bieten belastbare Strukturen, auf denen aufgebaut werden kann.
• Drittens: Die harmonisierte Norm prEN 18286 ist noch nicht verfügbar. wer darauf wartet, verliert Zeit. Die Anforderungen des Art. 17 sind im Verordnungstext hinreichend konkret, um mit der Implementierung zu beginnen.

Die Integration von Art. 4 (KI-Kompetenz) ist dabei kein Nebenaspekt, sondern eine Voraussetzung: Ein Governance-System, dessen Akteure die Grundlagen nicht verstehen, bleibt formale Hülle ohne operative Wirkung.