RiLi-KI-Einsatz: Unterschied zwischen den Versionen

Aus ISMS-Ratgeber WiKi
Zur Navigation springenZur Suche springen
KKeine Bearbeitungszusammenfassung
KKeine Bearbeitungszusammenfassung
 
(8 dazwischenliegende Versionen desselben Benutzers werden nicht angezeigt)
Zeile 1: Zeile 1:
{{Vorlage:Entwurf}}
{{#seo:  
{{#seo:
|title=KI-Einsatz: ISMS-integration, EU AI Act, DSGVO, BSI Grundschutz
|title=Richtlinie für den sicheren Einsatz von Künstlicher Intelligenz (KI)
|keywords=KI-Einsatz, EU AI Act, ISO 27001, BSI IT-Grundschutz, DSGVO KI, KI-Risikomanagement, Informationssicherheit KI, Datenschutz KI
|keywords=ISMS, KI-Sicherheit, KI-Richtlinie, Compliance, Datenschutz, Ethik, KI-Einsatz, Unternehmen, Informationssicherheit, Risikomanagement
|description=KI in Unternehmen & Behörden: Rechtliche, datenschutzrechtliche, sicherheitstechnische Leitfäden für ISO 27001, EU AI Act, BSI IT-Grundschutz. Risiken, Governance, Maßnahmen.}}
|description=Diese Richtlinie hilft die Vorteile von KI zu nutzen und dabei Risiken zu minimieren und Compliance sicherzustellen.
{{SHORTDESC:Einführung zu sinnvollen Regelungen für den KI-Einsatz}}''KI-Einsatz in Unternehmen und Behörden: Rechtliche, datenschutzrechtliche, sicherheitstechnische Leitfäden für ISO 27001, EU AI Act, BSI IT-Grundschutz. Risiken, Governance, Maßnahmen.''
}}{{SHORTDESC:Richtlinie für den sicheren Einsatz von Künstlicher Intelligenz (KI)}}
Mustervorlage: '''"Richtlinie für den sicheren Einsatz von Künstlicher Intelligenz (KI)"'''


''Muster-Richtlinie für den sicheren Einsatz von KI in der Organisation. Diese Richtlinie hilft die Vorteile von KI zu nutzen und dabei Risiken zu minimieren und Compliance sicherzustellen.''
== Einleitung ==
Der Einsatz von Künstlicher Intelligenz (KI) in Unternehmen und Behörden gewinnt rasant an Bedeutung und stellt Informationssicherheits-Managementsysteme (ISMS) vor neue Herausforderungen. KI-Systeme verarbeiten oft personenbezogene Daten, treffen automatisierte Entscheidungen und erfordern eine nahtlose Integration in bestehende Standards wie ISO/IEC 27001 sowie BSI Grundschutz. Der EU AI Act (seit August 2024 rechtskräftig) etabliert einen risikobasierten Ansatz, der mit DSGVO und BDSG kompatibel ist und spezifische Anforderungen an Transparenz, Robustheit und Nachvollziehbarkeit stellt.


== 1. Einleitung ==
Für Behörden gelten zusätzlich öffentlich-rechtliche Bindungen (z.B. Grundrechte Art. 1–3 GG), während Unternehmen wirtschaftliche Risiken wie Vendor Lock-in oder Haftungsstreitigkeiten prüfen müssen. Dieser Artikel fasst rechtliche, datenschutzrechtliche, sicherheitstechnische und organisatorische Belange zusammen und verweist auf vertiefende Inhalte im Wiki sowie externe Quellen.
Künstliche Intelligenz (KI) bietet der Organisation erhebliche Chancen zur Effizienzsteigerung, Innovation und Verbesserung von Dienstleistungen. Um die mit dem Einsatz von KI verbundenen Risiken zu minimieren und die Einhaltung relevanter Gesetze und Vorschriften zu gewährleisten, legt diese Richtlinie verbindliche Standards und Verfahren für den sicheren und verantwortungsvollen Einsatz von KI-Systemen fest.


== Geltungsbereich ==
'''Relevanz für ISMS'''
Diese Richtlinie gilt für alle Mitarbeitenden, Auftragnehmenden und Dritte, die KI-Systeme im Auftrag der Organisation entwickeln, implementieren, nutzen oder verwalten. Sie umfasst alle Arten von KI-Systemen, einschließlich, aber nicht beschränkt auf:


* Generative KI (z.B. Large Language Models – LLMs)
KI-Einsatz beeinflusst die CIA-Triade (Vertraulichkeit, Integrität, Verfügbarkeit) und erfordert [[Zusätzliche Gefährdungen|Ergänzungen]] der verwendeten Risikokataloge wie z.B. den BSI G0-Katalog. Ziel ist eine risikobasierte Implementierung des KI-Einsatzes.
* Maschinelles Lernen (ML)
* Robotik
* Künstliche neuronale Netze


== Zielsetzung ==
== Rechtlicher Rahmen ==
Diese Richtlinie zielt darauf ab:


* Die Integration von Sicherheitsaspekten in den gesamten Lebenszyklus von KI-Systemen zu gewährleisten.
* '''EU AI Act''': Risikobasierte Klassifikation (verboten, hochrisiko, geringes Risiko, GPAI). Zeitlicher Fahrplan (Verbote ab 2025, Hochrisiko ab 2026/2027). Anforderungen an Dokumentation, Konformität und Bußgelder.
* Risiken im Zusammenhang mit KI-Technologien zu identifizieren, zu bewerten und zu minimieren.
* '''Nationale Regelungen''': DSGVO-Integration (Art. 10 KI-VO für biometrische Daten), BDSG, öffentlich-rechtliche Sonderbindungen (GG Art. 1–3) für Behörden.
* Die Einhaltung von Datenschutzbestimmungen, ethischen Grundsätzen und relevanten Gesetzen sicherzustellen.
* '''Sektorale Vorgaben''': Verwaltungsrecht, hessische/länderspezifische Initiativen für öffentlichen Sektor.​
* Transparenz und Verantwortlichkeit im Umgang mit KI-Systemen zu fördern.
* Das Bewusstsein für die potenziellen Risiken und Chancen von KI bei den Mitarbeitenden zu schärfen.


== Verantwortlichkeiten ==
=== EU AI Act ===
* '''Organisationsleitung:''' Verantwortlich für die Genehmigung dieser Richtlinie und die Bereitstellung der notwendigen Ressourcen für deren Umsetzung.
Der EU AI Act klassifiziert KI-Systeme in vier Risikostufen:
* '''Informationssicherheitsbeauftragte (ISB):''' Verantwortlich für die Überwachung der Einhaltung dieser Richtlinie und die Integration von KI-Sicherheit in das ISMS.
* '''Datenschutzbeauftragte (DSB):''' Verantwortlich für die Überwachung der Einhaltung der Datenschutzbestimmungen im Zusammenhang mit KI-Systemen.
* '''KI-Projektverantwortliche:''' Verantwortlich für die Einhaltung dieser Richtlinie bei der Entwicklung, Implementierung und Nutzung von KI-Systemen in ihren Projekten.
* '''Alle Mitarbeitenden:''' Verantwortlich für die Einhaltung dieser Richtlinie bei der Nutzung von KI-Systemen im Rahmen ihrer Tätigkeit für die Organisation.


== Richtlinien und Verfahren ==
* '''Unzulässig''' (z. B. Social Scoring, biometrische Echtzeit-Identifikation in öffentlichen Räumen) – Verbot ab Februar 2025.
* '''Hochrisiko''' (z. B. HR, Kreditvergabe, kritische Infrastruktur) – Konformitätsbewertung, Dokumentationspflichten und menschliche Aufsicht ab 2026/2027.
* '''Geringes Risiko''' – Transparenzpflichten (z. B. Chatbots).
* '''GPAI (General Purpose AI)''' – Risikoanalyse und technische Dokumentation für Modelle wie GPT-Varianten.


=== Integration von KI-Sicherheit in das ISMS ===
Bußgelder bis 35 Mio. € oder 7% Umsatz. Verantwortung liegt primär beim Provider, sekundär beim Deployer.
* KI-Systeme sind als Teil des Informationssicherheitsmanagementsystems (ISMS) der Organisation zu betrachten.
* Geeignete Sicherheitsmaßnahmen sind zu implementieren, um die Vertraulichkeit, Integrität und Verfügbarkeit von KI-Systemen und den darin verarbeiteten Daten zu gewährleisten.
* Dies umfasst insbesondere Maßnahmen zum Schutz vor Angriffen wie Prompt Injection, Modellmanipulation und Datendiebstahl.
* Für den Einsatz von Large Language Models (LLMs) sind spezifische Sicherheitsmaßnahmen zu implementieren, um Risiken wie die Generierung von Fehlinformationen, die Offenlegung sensibler Daten und die Beeinflussung des Modellverhaltens zu minimieren.


=== Risikobewertung von KI-Systemen ===
'''Weiterführende Informationen:'''
* Vor der Implementierung oder Nutzung eines KI-Systems ist eine Risikobewertung durchzuführen, um potenzielle Risiken zu identifizieren und zu bewerten.
* Die Risikobewertung muss die folgenden Aspekte berücksichtigen:
** Datenschutzrisiken (z.B. unbefugte Offenlegung personenbezogener Daten)
** Sicherheitsrisiken (z.B. Manipulation des KI-Systems durch Angreifer)
** Ethische Risiken (z.B. Diskriminierung, Voreingenommenheit)
** Betriebliche Risiken (z.B. Ausfall des KI-Systems)
** Compliance-Risiken (z.B. Nichteinhaltung gesetzlicher Vorschriften)
* Basierend auf der Risikobewertung sind geeignete Maßnahmen zur Risikominimierung zu implementieren.


=== Compliance-Konformer Einsatz von KI-Systemen ===
* [[EU AI Act|Wiki: EU AI Act]]
* Beim Einsatz von KI-Systemen sind alle relevanten Gesetze und Vorschriften einzuhalten, insbesondere die Datenschutz-Grundverordnung (DSGVO), das Bundesdatenschutzgesetz (BDSG) und das Urheberrecht.
* [https://eur-lex.europa.eu/legal-content/DE/TXT/PDF/?uri=CELEX:32024R1689 EU AI Act Volltext]
* Es ist sicherzustellen, dass die Datennutzungsketten von KI-Systemen transparent und nachvollziehbar sind.
* Personenbezogene Daten dürfen nur im Einklang mit den datenschutzrechtlichen Bestimmungen verarbeitet werden.
* Bei der Entwicklung und Nutzung von KI-Systemen sind ethische Grundsätze zu berücksichtigen, insbesondere die Vermeidung von Diskriminierung und Voreingenommenheit.
* Die Ergebnisse und Entscheidungen von KI-Systemen müssen nachvollziehbar und überprüfbar sein.
* Es ist sicherzustellen, dass die Urheberrechte an den von KI-Systemen generierten Inhalten eingehalten werden.


=== Datensicherheit und Datenschutz ===
=== Nationale Regelungen ===
* Die für das Training und den Betrieb von KI-Systemen verwendeten Daten sind angemessen zu schützen.
* Es sind Maßnahmen zu implementieren, um die Vertraulichkeit, Integrität und Verfügbarkeit der Daten zu gewährleisten.
* Personenbezogene Daten sind zu pseudonymisieren oder zu anonymisieren, sofern dies möglich ist.
* Es ist sicherzustellen, dass die Daten nur für den vorgesehenen Zweck verwendet werden.
* Die Aufbewahrungsfristen für die Daten sind einzuhalten.


=== Transparenz und Verantwortlichkeit ===
* '''Deutschland''': Ergänzungen durch BDSG (§ 35 Automatisierte Entscheidungen im Einzelfall einschließlich Profiling), KI-Strategie der Bundesregierung (2020/aktualisiert 2025). Behörden müssen öffentlich-rechtliche Prinzipien (Rechtsstaatlichkeit, Verhältnismäßigkeit) wahren.​
* Der Einsatz von KI-Systemen ist transparent zu kommunizieren.
* '''Länderspezifisch''': Hessische KI-Verordnung, bayrische Orientierungshilfen für öffentliche Verwaltung.
* Die Funktionsweise von KI-Systemen ist zu dokumentieren.
* '''Sektoral''': Finanzsektor (BaFin-MaRisk), Gesundheitswesen (DiGA-Verordnung).
* Es ist klar zu definieren, wer für die Entscheidungen und Ergebnisse von KI-Systemen verantwortlich ist.
* Es ist sicherzustellen, dass Mitarbeitende über die Risiken und Chancen von KI informiert und geschult werden.


== Schulung und Sensibilisierung ==
'''Weiterführende Informationen:'''
* Alle Mitarbeitenden, die mit KI-Systemen arbeiten, sind regelmäßig zu schulen und zu sensibilisieren.
* Die Schulungen müssen die folgenden Themen abdecken:
** Grundlagen der KI-Sicherheit
** Datenschutzbestimmungen
** Ethische Aspekte des KI-Einsatzes
** Verantwortungsvoller Umgang mit KI-Systemen
** Meldung von Sicherheitsvorfällen


== Überwachung und Kontrolle ==
* [https://www.bsi.bund.de/DE/Themen/Unternehmen-und-Organisationen/Informationen-und-Empfehlungen/Kuenstliche-Intelligenz/AIC4/aic4.html Kriterienkatalog für <abbr>KI</abbr>-Cloud-Dienste – <abbr>AIC4</abbr>]
* Die Einhaltung dieser Richtlinie ist regelmäßig zu überwachen und zu kontrollieren.
* [https://www.gesetze-im-internet.de/bdsg_2018/__37.html BDSG: §37 Automatisierte Entscheidungen im Einzelfall einschließlich Profiling]
* Es sind interne Audits durchzuführen, um die Wirksamkeit der implementierten Maßnahmen zu überprüfen.
* Sicherheitsvorfälle im Zusammenhang mit KI-Systemen sind unverzüglich zu melden und zu untersuchen.


== Schlussbemerkung ==
=== Übergangsregelungen und Neuklassifizierung ===
KI-Systeme müssen bei wesentlichen Änderungen neu klassifiziert werden. Bestehende Systeme bis 2027.​


=== Behandlung von Ausnahmen ===
== Datenschutzrechtliche Aspekte ==
Ausnahmen von den Regelungen dieser Richtlinie sind nur mit einem begründeten Ausnahmeantrag im Rahmen des [[RiLi-Ausnahmemanagement|Ausnahmemanagements]] möglich.


=== Revision ===
=== DSGVO-Konformität ===
Diese Richtlinie wird regelmäßig, jedoch mindestens einmal pro Jahr, durch den Regelungsverantwortlichen auf Aktualität und Konformität geprüft und bei Bedarf angepasst.
KI-Trainingsdaten unterliegen Art. 5 DSGVO (Rechtsmäßigkeit, Zweckbindung). Bei biometrischen Daten: Art. 10 KI-VO (Verbot biometrische Kategorisierung). Datenschutz-Folgenabschätzung (DSFA, Art. 35) obligatorisch für Hochrisiko-Anwendungen.


== Inkrafttreten ==
'''Kernpflichten'''
Diese Richtlinie tritt zum 01.01.2222 in Kraft.


Freigegeben durch: Organisationsleitung
* '''Trainingsdaten''': Bereinigung sensibler Daten, Pseudonymisierung, Löschung nach Zweck (Art. 17).
* '''Outputs''': Transparenz bei automatisierter Entscheidungsfindung (Art. 22), Recht auf Erklärung.
* '''AVV (Auftragsverarbeitung)''': Cloud-KI-Provider als Auftragsverarbeiter prüfen.


Ort, 01.12.2220,
=== Orientierungshilfen ===


Unterschrift, Name der Leitung
* '''Datenschutzkonferenz (DSK)''': Leitfaden „Künstliche Intelligenz und Datenschutz“ – Checkliste für Datensparsamkeit und Rechenschaftspflicht.​
[[Kategorie:Mustervorlage]]
* '''BayLDA/LfDI''': Praktische Hinweise zu Shadow-KI und ChatGPT-Nutzung in Behörden.​
[[Kategorie:Richtlinie]]
 
=== Betroffenenrechte und Transparenz ===
Benutzende müssen über KI-Einsatz informiert werden (Art. 13/14). Erweiterte Informationspflichten bei GPAI: Modellkarte offenlegen. Bias-Tests dokumentieren, um Diskriminierungsverbot (Art. 21 GG) zu wahren.​
 
'''Praktische Umsetzung'''
{| class="wikitable"
!Aspekt
!Maßnahme
!Rechtsgrundlage
|-
|DSFA
|Vor KI-Einsatz durchführen
|Art. 35 DSGVO
|-
|Rechteauskunft
|KI-spezifische Vorlage
|Art. 15 DSGVO
|-
|Löschung
|Trainingsdaten entfernen
|Art. 17 DSGVO
|}
'''Weiterführende Informationen:'''
 
* [https://www.datenschutzkonferenz-online.de/media/oh/DSK_OH_RAG.pdf DSK: Orientierungshilfe zu datenschutzrechtlichen Besonderheiten generativer KI-Systeme mit RAG-Methode]
* [https://www.datenschutzkonferenz-online.de/media/oh/DSK-OH_KI-Systeme.pdf DSK: Orientierungshilfe zu empfohlenen technischen und organisatorischen Maßnahmen bei der Entwicklung und beim Betrieb von KI-Systemen]
* [[KI Datenschutz|Wiki: Datenschutz in KI-Anwendungen.]]
 
== Sicherheitsaspekte (ISMS-Integration) ==
KI-Einsatz erfordert eine Erweiterung des ISMS um spezifische Gefährdungen, die die CIA-Triade (Vertraulichkeit, Integrität, Verfügbarkeit) bedrohen und über den BSI IT-Grundschutz G0-Katalog hinausgehen. Nach BSI Standard 200-3 müssen diese in der Risikoanalyse bewertet und mit Maßnahmen aus ISO 27001 Anhang A (z. B. A.8.25 für sichere Entwicklung) kontrolliert werden.​
 
=== Gefährdungskatalog-Ergänzungen ===
KI-spezifische Risiken wie folgt klassifiziert (CIA-Analyse):
 
* '''Prompt Injections''': Manipulation von Eingaben zu Large Language Models (hoch I/C).
* '''Data Poisoning''': Vergiftung von Trainingsdaten (hoch I, mittel A).
* '''Modelllecks''': Training Data Leakage oder IP-Exfiltration (hoch C).
* '''Unkontrollierte Nutzung von Schatten-KI''': Unkontrollierte Nutzung privater Tools (mittel C/I).
* '''Black-Box-Effekte''': Mangelnde Nachvollziehbarkeit (hoch I/A).
 
=== ISMS-Maßnahmen und Standards ===
* '''BSI KI-Kriterienkatalog (2025)''': Sicherheitsniveaus (Low/Medium/High) für generative KI, mit Tests auf Jailbreaks und Bias.
* '''ISO 27001 Anhang A''': A.8.25 Sichere Entwicklung, A.12.6 Vulnerability-Management.
* '''Risikobewertung''': Erweiterte Gefährdungsanalyse nach BSI 200-3, inklusive Supply-Chain-Risiken bei Cloud-KI-Providern.
 
'''Weiterführende Informationen:'''
 
* [https://www.bsi.bund.de/SharedDocs/Downloads/DE/BSI/KI/Kriterienkatalog_KI-Modelle_Bundesverwaltung.html BSI KI-Kriterienkatalog 2025.]
* [[Zusätzliche Gefährdungen|Wiki: Zusätzliche Gefährdungen (ergänzt und spezifische KI-Gefährdungen)]]
* [[RiLi-KI-Einsatz|Wiki: Richtlinie für den sicheren Einsatz von Künstlicher Intelligenz (KI)]]
* [[LF-KI-Sicherheit|Wiki: Leitfaden zur KI-Sicherheit]]
* [[LF-KI-Chatbots|Wiki: Leitfaden für Mitarbeitende zur Nutzung von KI-Systemen.]]
 
== Technische Aspekte ==
Technische Umsetzung von KI muss Robustheit, Nachvollziehbarkeit und Datensicherheit gewährleisten, um EU AI Act-Anforderungen (z. B. Art. 15 für Hochrisiko) und ISMS-Ziele zu erfüllen. Der Fokus liegt auf dem gesamten KI-Lebenszyklus.​
 
=== Implementierungsprinzipien ===
 
* '''Daten-Governance''': Saubere Trainingsdaten (Preprocessing, Anonymisierung), RAG (Retrieval-Augmented Generation) statt reinem Fine-Tuning zur Vermeidung von Halluzinationen.
* '''Modellsicherheit''': Hardening-Techniken wie Adversarial Training, Modellkardinalität (Input/Output-Beschränkungen).
* '''Nachvollziehbarkeit (XAI)''': SHAP für globale Feature-Importance, LIME für lokale Erklärungen einzelner Vorhersagen – essenziell für Art. 22 DSGVO.
 
=== Lebenszyklus-Management ===
'''KI-System-Phasen und Sicherheitskontrollen'''
{| class="wikitable"
!Phase
!Technische Maßnahmen
!ISMS-Verknüpfung
|-
|Auswahl/Training
|Datenvalidierung, Secure MPC
|A.8.25 Entwicklung
|-
|Deployment
|Sandboxing, Human-in-the-Loop
|A.12.4 Monitoring
|-
|Betrieb
|Continuous Model Monitoring (Drift/Bias)
|A.12.6 Vulnerabilities
|-
|Decommissioning
|Modelllöschung, Audit-Logs
|A.18.1 Compliance
|}
 
=== Hochrisiko-Anwendungen ===
 
* '''Sektoren''': HR (Bias-Prüfung), Gesundheitswesen (FDA/DiGA-konform), kritische Infrastruktur (real-time Robustheit).
* '''Technische Standards''': ONNX für Modell-Portabilität, TensorFlow Privacy für Federated Learning.
 
'''Praktische Umsetzung'''
 
* '''Tools''': MLflow für Lifecycle-Tracking, Adversarial Robustness Toolbox (ART) für Angriffstests.
* '''Cloud-KI''': AWS SageMaker oder Azure ML mit integrierten Security-Features prüfen (AVV-pflichtig).
 
'''Weiterführende Informationen:'''
 
* [https://eur-lex.europa.eu/legal-content/DE/TXT/HTML/?uri=CELEX:32024R1689#art_11 EU AI Act Artikel 11 - Technische Dokumentation]
* [https://eur-lex.europa.eu/legal-content/DE/TXT/HTML/?uri=CELEX:32024R1689#anx_IV EU AI Act  Anhang IV - Technische Dokumentation]
* [https://www.bsi.bund.de/DE/Service-Navi/Presse/Alle-Meldungen-News/Meldungen/Leitfaden_KI-Systeme_230124.html BSI Secure AI Guidelines.]
* [[KI-Register|Wiki: KI-Register]]
* [[KI Cybersicherheit|KI als Fluch und Segen in der Cybersicherheit.]]
 
== Governance und Organisation ==
Eine effektive KI-Governance stellt sicher, dass KI-Einsatz mit ISMS-Zielen (ISO 27001, BSI Grundschutz) übereinstimmt und EU AI Act-Anforderungen erfüllt. Sie umfasst organisatorische Strukturen, Prozesse und Verantwortlichkeiten, um Risiken wie Shadow-KI oder Bias zu minimieren. Die Geschäftsleitung trägt gemäß ISO 27001 Abschnitt 5.1 die oberste Verantwortung und muss KI-spezifische Richtlinien (A.5.1) etablieren.
 
=== KI-Governancestruktur ===
 
* '''KI-Steuerungsgremium''': Interdisziplinäres Gremium (IT-Sicherheit, Datenschutzbeauftragte, Rechtsabteilung, Fachabteilungen) für Risikobewertungen, Modellfreigaben und Audits. Regelmäßige Meetings (vierteljährlich) zur Überprüfung von KI-Projekten.
 
* '''Rollen und Verantwortlichkeiten''':<br>
{| class="wikitable"
!Rolle
!Aufgaben
!Rechtsgrundlage
|-
|KI-Provider (extern)
|Technische Dokumentation, Konformitätserklärung
|EU AI Act Art. 13
|-
|KI-Deployer (intern)
|Risikoanalyse, menschliche Aufsicht
|EU AI Act Art. 29
|-
|Datenschutzbeauftragte
|DSFA, Betroffenenrechte
|DSGVO Art. 39
|-
|ISMS-Leitung
|Integration in Risikomanagement
|ISO 27001 A.5.1
|}
 
* '''KI-Nutzungsrichtlinie''': Verbot privater KI-Tools (Shadow-KI), Pflicht zu genehmigten Modellen, Sanktionen bei Verstößen. Schulungspflicht für Mitarbeitende (KI-Literacy).
 
=== Prozesse und Workflows ===
 
* '''Risikobewertungsvorlage''': Vorlage für neue KI-Projekte mit CIA-Analyse, EU AI Act-Risikostufe und DSFA-Trigger. Workflow: Antrag → Gremium → Freigabe → Monitoring.
* '''Audit und Reporting''': Jährliche KI-Inventar (alle Systeme auflisten), Incident-Reporting für Bias-Vorfälle oder Modell-Drift. Integration in ISO 27001 Management Review (Abschnitt 9.3).
* '''Schulungen''': Obligatorische Einstiegsschulung zu KI-Risiken (~2h), vertiefte für Entwickler (XAI, Secure Coding). Nachweis via LMS.
 
=== Besonderheiten für Behörden ===
 
* '''Grundrechtsschutz''': Zusätzliche Prüfung auf Verhältnismäßigkeit (GG Art. 1–3), Transparenz gegenüber Bürger:innen. Beliehene Unternehmen (z. B. Zeugnisstellen) fallen unter öffentlich-rechtliche Standards.
* '''Öffentliche Unternehmen''': Archivierungspflicht für KI-Entscheidungen.
 
'''Praktische Umsetzung'''
 
* '''Checkliste für KI-Projekte''':
*# Risikostufe bestimmen,
*# Provider prüfen,
*# DSFA durchführen,
*# Technische Dokumentation anlegen,
*# Monitoring einrichten.
* '''Vorlage''': KI-Risikobewertungstabelle (Excel) mit Spalten für Gefährdung, Wahrscheinlichkeit, Schaden, Maßnahmen.
 
'''Weiterführende Informationen:'''
 
* Wiki: ISMS-Organisation
* ISO 27001:2022 Abschnitt 5 (Führung).
 
== Weiterführende Quellen ==
 
=== Primärquellen (Gesetze und Verordnungen) ===
 
* '''EU AI Act''': Volltext – Offizielle Übersetzung, Anhang mit Hochrisiko-Listen.
* '''DSGVO''': Art. 22, 35 – Automatisierte Entscheidungen, DSFA.
* '''BDSG''': § 35 – Automatisierte Entscheidungen im öffentlichen Recht.
 
=== Behörden und Standardisierungsgremien ===
 
* '''BSI''':
** KI-Kriterienkatalog 2025 – Testszenarien für generative KI.
** IT-Grundschutz Compendium – G0-Module.
* '''Datenschutzkonferenz (DSK)''': Leitfaden KI und Datenschutz – Praktische Checkliste.
* '''BayLDA''': KI & Datenschutz – Orientierung für Behörden.
 
=== Branchenverbände und Ratgeber ===
 
* '''IHK München''': Datenschutz & KI – Praktische Hinweise für KMU.
* '''Bitkom''': KI-Guide für Unternehmen – Best Practices.
* '''BaFin''': MaRisk für KI im Finanzsektor.
 
=== Technische Ressourcen ===
 
* '''XAI-Tools''': SHAP-Dokumentation, LIME – Open Source für Erklärbarkeit.
* '''Secure AI Frameworks''': Adversarial Robustness Toolbox – Tests auf Angriffe.
 
=== Wiki-interne Verweise ===
 
* [[EU AI Act]]
* [[KI Cybersicherheit]]
* [[KI Datenschutz]]
* [[KI-Nutzung]]
* [[KI-Register]]
* [[LF-KI-Chatbots]]
* [[RiLi-KI-Einsatz]]
* [[Zusätzliche Gefährdungen]]
 
[[Kategorie:Artikel]]
[[Kategorie:KI]]

Aktuelle Version vom 1. April 2026, 15:17 Uhr

KI-Einsatz in Unternehmen und Behörden: Rechtliche, datenschutzrechtliche, sicherheitstechnische Leitfäden für ISO 27001, EU AI Act, BSI IT-Grundschutz. Risiken, Governance, Maßnahmen.

Einleitung

Der Einsatz von Künstlicher Intelligenz (KI) in Unternehmen und Behörden gewinnt rasant an Bedeutung und stellt Informationssicherheits-Managementsysteme (ISMS) vor neue Herausforderungen. KI-Systeme verarbeiten oft personenbezogene Daten, treffen automatisierte Entscheidungen und erfordern eine nahtlose Integration in bestehende Standards wie ISO/IEC 27001 sowie BSI Grundschutz. Der EU AI Act (seit August 2024 rechtskräftig) etabliert einen risikobasierten Ansatz, der mit DSGVO und BDSG kompatibel ist und spezifische Anforderungen an Transparenz, Robustheit und Nachvollziehbarkeit stellt.

Für Behörden gelten zusätzlich öffentlich-rechtliche Bindungen (z.B. Grundrechte Art. 1–3 GG), während Unternehmen wirtschaftliche Risiken wie Vendor Lock-in oder Haftungsstreitigkeiten prüfen müssen. Dieser Artikel fasst rechtliche, datenschutzrechtliche, sicherheitstechnische und organisatorische Belange zusammen und verweist auf vertiefende Inhalte im Wiki sowie externe Quellen.

Relevanz für ISMS

KI-Einsatz beeinflusst die CIA-Triade (Vertraulichkeit, Integrität, Verfügbarkeit) und erfordert Ergänzungen der verwendeten Risikokataloge wie z.B. den BSI G0-Katalog. Ziel ist eine risikobasierte Implementierung des KI-Einsatzes.

Rechtlicher Rahmen

  • EU AI Act: Risikobasierte Klassifikation (verboten, hochrisiko, geringes Risiko, GPAI). Zeitlicher Fahrplan (Verbote ab 2025, Hochrisiko ab 2026/2027). Anforderungen an Dokumentation, Konformität und Bußgelder.
  • Nationale Regelungen: DSGVO-Integration (Art. 10 KI-VO für biometrische Daten), BDSG, öffentlich-rechtliche Sonderbindungen (GG Art. 1–3) für Behörden.
  • Sektorale Vorgaben: Verwaltungsrecht, hessische/länderspezifische Initiativen für öffentlichen Sektor.​

EU AI Act

Der EU AI Act klassifiziert KI-Systeme in vier Risikostufen:

  • Unzulässig (z. B. Social Scoring, biometrische Echtzeit-Identifikation in öffentlichen Räumen) – Verbot ab Februar 2025.
  • Hochrisiko (z. B. HR, Kreditvergabe, kritische Infrastruktur) – Konformitätsbewertung, Dokumentationspflichten und menschliche Aufsicht ab 2026/2027.
  • Geringes Risiko – Transparenzpflichten (z. B. Chatbots).
  • GPAI (General Purpose AI) – Risikoanalyse und technische Dokumentation für Modelle wie GPT-Varianten.

Bußgelder bis 35 Mio. € oder 7% Umsatz. Verantwortung liegt primär beim Provider, sekundär beim Deployer.

Weiterführende Informationen:

Nationale Regelungen

  • Deutschland: Ergänzungen durch BDSG (§ 35 Automatisierte Entscheidungen im Einzelfall einschließlich Profiling), KI-Strategie der Bundesregierung (2020/aktualisiert 2025). Behörden müssen öffentlich-rechtliche Prinzipien (Rechtsstaatlichkeit, Verhältnismäßigkeit) wahren.​
  • Länderspezifisch: Hessische KI-Verordnung, bayrische Orientierungshilfen für öffentliche Verwaltung.
  • Sektoral: Finanzsektor (BaFin-MaRisk), Gesundheitswesen (DiGA-Verordnung).

Weiterführende Informationen:

Übergangsregelungen und Neuklassifizierung

KI-Systeme müssen bei wesentlichen Änderungen neu klassifiziert werden. Bestehende Systeme bis 2027.​

Datenschutzrechtliche Aspekte

DSGVO-Konformität

KI-Trainingsdaten unterliegen Art. 5 DSGVO (Rechtsmäßigkeit, Zweckbindung). Bei biometrischen Daten: Art. 10 KI-VO (Verbot biometrische Kategorisierung). Datenschutz-Folgenabschätzung (DSFA, Art. 35) obligatorisch für Hochrisiko-Anwendungen.

Kernpflichten

  • Trainingsdaten: Bereinigung sensibler Daten, Pseudonymisierung, Löschung nach Zweck (Art. 17).
  • Outputs: Transparenz bei automatisierter Entscheidungsfindung (Art. 22), Recht auf Erklärung.
  • AVV (Auftragsverarbeitung): Cloud-KI-Provider als Auftragsverarbeiter prüfen.

Orientierungshilfen

  • Datenschutzkonferenz (DSK): Leitfaden „Künstliche Intelligenz und Datenschutz“ – Checkliste für Datensparsamkeit und Rechenschaftspflicht.​
  • BayLDA/LfDI: Praktische Hinweise zu Shadow-KI und ChatGPT-Nutzung in Behörden.​

Betroffenenrechte und Transparenz

Benutzende müssen über KI-Einsatz informiert werden (Art. 13/14). Erweiterte Informationspflichten bei GPAI: Modellkarte offenlegen. Bias-Tests dokumentieren, um Diskriminierungsverbot (Art. 21 GG) zu wahren.​

Praktische Umsetzung

Aspekt Maßnahme Rechtsgrundlage
DSFA Vor KI-Einsatz durchführen Art. 35 DSGVO
Rechteauskunft KI-spezifische Vorlage Art. 15 DSGVO
Löschung Trainingsdaten entfernen Art. 17 DSGVO

Weiterführende Informationen:

Sicherheitsaspekte (ISMS-Integration)

KI-Einsatz erfordert eine Erweiterung des ISMS um spezifische Gefährdungen, die die CIA-Triade (Vertraulichkeit, Integrität, Verfügbarkeit) bedrohen und über den BSI IT-Grundschutz G0-Katalog hinausgehen. Nach BSI Standard 200-3 müssen diese in der Risikoanalyse bewertet und mit Maßnahmen aus ISO 27001 Anhang A (z. B. A.8.25 für sichere Entwicklung) kontrolliert werden.​

Gefährdungskatalog-Ergänzungen

KI-spezifische Risiken wie folgt klassifiziert (CIA-Analyse):

  • Prompt Injections: Manipulation von Eingaben zu Large Language Models (hoch I/C).
  • Data Poisoning: Vergiftung von Trainingsdaten (hoch I, mittel A).
  • Modelllecks: Training Data Leakage oder IP-Exfiltration (hoch C).
  • Unkontrollierte Nutzung von Schatten-KI: Unkontrollierte Nutzung privater Tools (mittel C/I).
  • Black-Box-Effekte: Mangelnde Nachvollziehbarkeit (hoch I/A).

ISMS-Maßnahmen und Standards

  • BSI KI-Kriterienkatalog (2025): Sicherheitsniveaus (Low/Medium/High) für generative KI, mit Tests auf Jailbreaks und Bias.
  • ISO 27001 Anhang A: A.8.25 Sichere Entwicklung, A.12.6 Vulnerability-Management.
  • Risikobewertung: Erweiterte Gefährdungsanalyse nach BSI 200-3, inklusive Supply-Chain-Risiken bei Cloud-KI-Providern.

Weiterführende Informationen:

Technische Aspekte

Technische Umsetzung von KI muss Robustheit, Nachvollziehbarkeit und Datensicherheit gewährleisten, um EU AI Act-Anforderungen (z. B. Art. 15 für Hochrisiko) und ISMS-Ziele zu erfüllen. Der Fokus liegt auf dem gesamten KI-Lebenszyklus.​

Implementierungsprinzipien

  • Daten-Governance: Saubere Trainingsdaten (Preprocessing, Anonymisierung), RAG (Retrieval-Augmented Generation) statt reinem Fine-Tuning zur Vermeidung von Halluzinationen.
  • Modellsicherheit: Hardening-Techniken wie Adversarial Training, Modellkardinalität (Input/Output-Beschränkungen).
  • Nachvollziehbarkeit (XAI): SHAP für globale Feature-Importance, LIME für lokale Erklärungen einzelner Vorhersagen – essenziell für Art. 22 DSGVO.

Lebenszyklus-Management

KI-System-Phasen und Sicherheitskontrollen

Phase Technische Maßnahmen ISMS-Verknüpfung
Auswahl/Training Datenvalidierung, Secure MPC A.8.25 Entwicklung
Deployment Sandboxing, Human-in-the-Loop A.12.4 Monitoring
Betrieb Continuous Model Monitoring (Drift/Bias) A.12.6 Vulnerabilities
Decommissioning Modelllöschung, Audit-Logs A.18.1 Compliance

Hochrisiko-Anwendungen

  • Sektoren: HR (Bias-Prüfung), Gesundheitswesen (FDA/DiGA-konform), kritische Infrastruktur (real-time Robustheit).
  • Technische Standards: ONNX für Modell-Portabilität, TensorFlow Privacy für Federated Learning.

Praktische Umsetzung

  • Tools: MLflow für Lifecycle-Tracking, Adversarial Robustness Toolbox (ART) für Angriffstests.
  • Cloud-KI: AWS SageMaker oder Azure ML mit integrierten Security-Features prüfen (AVV-pflichtig).

Weiterführende Informationen:

Governance und Organisation

Eine effektive KI-Governance stellt sicher, dass KI-Einsatz mit ISMS-Zielen (ISO 27001, BSI Grundschutz) übereinstimmt und EU AI Act-Anforderungen erfüllt. Sie umfasst organisatorische Strukturen, Prozesse und Verantwortlichkeiten, um Risiken wie Shadow-KI oder Bias zu minimieren. Die Geschäftsleitung trägt gemäß ISO 27001 Abschnitt 5.1 die oberste Verantwortung und muss KI-spezifische Richtlinien (A.5.1) etablieren.

KI-Governancestruktur

  • KI-Steuerungsgremium: Interdisziplinäres Gremium (IT-Sicherheit, Datenschutzbeauftragte, Rechtsabteilung, Fachabteilungen) für Risikobewertungen, Modellfreigaben und Audits. Regelmäßige Meetings (vierteljährlich) zur Überprüfung von KI-Projekten.
  • Rollen und Verantwortlichkeiten:
Rolle Aufgaben Rechtsgrundlage
KI-Provider (extern) Technische Dokumentation, Konformitätserklärung EU AI Act Art. 13
KI-Deployer (intern) Risikoanalyse, menschliche Aufsicht EU AI Act Art. 29
Datenschutzbeauftragte DSFA, Betroffenenrechte DSGVO Art. 39
ISMS-Leitung Integration in Risikomanagement ISO 27001 A.5.1
  • KI-Nutzungsrichtlinie: Verbot privater KI-Tools (Shadow-KI), Pflicht zu genehmigten Modellen, Sanktionen bei Verstößen. Schulungspflicht für Mitarbeitende (KI-Literacy).

Prozesse und Workflows

  • Risikobewertungsvorlage: Vorlage für neue KI-Projekte mit CIA-Analyse, EU AI Act-Risikostufe und DSFA-Trigger. Workflow: Antrag → Gremium → Freigabe → Monitoring.
  • Audit und Reporting: Jährliche KI-Inventar (alle Systeme auflisten), Incident-Reporting für Bias-Vorfälle oder Modell-Drift. Integration in ISO 27001 Management Review (Abschnitt 9.3).
  • Schulungen: Obligatorische Einstiegsschulung zu KI-Risiken (~2h), vertiefte für Entwickler (XAI, Secure Coding). Nachweis via LMS.

Besonderheiten für Behörden

  • Grundrechtsschutz: Zusätzliche Prüfung auf Verhältnismäßigkeit (GG Art. 1–3), Transparenz gegenüber Bürger:innen. Beliehene Unternehmen (z. B. Zeugnisstellen) fallen unter öffentlich-rechtliche Standards.
  • Öffentliche Unternehmen: Archivierungspflicht für KI-Entscheidungen.

Praktische Umsetzung

  • Checkliste für KI-Projekte:
    1. Risikostufe bestimmen,
    2. Provider prüfen,
    3. DSFA durchführen,
    4. Technische Dokumentation anlegen,
    5. Monitoring einrichten.
  • Vorlage: KI-Risikobewertungstabelle (Excel) mit Spalten für Gefährdung, Wahrscheinlichkeit, Schaden, Maßnahmen.

Weiterführende Informationen:

  • Wiki: ISMS-Organisation
  • ISO 27001:2022 Abschnitt 5 (Führung).

Weiterführende Quellen

Primärquellen (Gesetze und Verordnungen)

  • EU AI Act: Volltext – Offizielle Übersetzung, Anhang mit Hochrisiko-Listen.
  • DSGVO: Art. 22, 35 – Automatisierte Entscheidungen, DSFA.
  • BDSG: § 35 – Automatisierte Entscheidungen im öffentlichen Recht.

Behörden und Standardisierungsgremien

  • BSI:
    • KI-Kriterienkatalog 2025 – Testszenarien für generative KI.
    • IT-Grundschutz Compendium – G0-Module.
  • Datenschutzkonferenz (DSK): Leitfaden KI und Datenschutz – Praktische Checkliste.
  • BayLDA: KI & Datenschutz – Orientierung für Behörden.

Branchenverbände und Ratgeber

  • IHK München: Datenschutz & KI – Praktische Hinweise für KMU.
  • Bitkom: KI-Guide für Unternehmen – Best Practices.
  • BaFin: MaRisk für KI im Finanzsektor.

Technische Ressourcen

  • XAI-Tools: SHAP-Dokumentation, LIME – Open Source für Erklärbarkeit.
  • Secure AI Frameworks: Adversarial Robustness Toolbox – Tests auf Angriffe.

Wiki-interne Verweise

Abgerufen von „https://wiki.isms-ratgeber.info/index.php?title=RiLi-KI-Einsatz&oldid=2023“