RiLi-KI-Einsatz: Unterschied zwischen den Versionen

Aus ISMS-Ratgeber WiKi
Zur Navigation springenZur Suche springen
KKeine Bearbeitungszusammenfassung
KKeine Bearbeitungszusammenfassung
 
(6 dazwischenliegende Versionen desselben Benutzers werden nicht angezeigt)
Zeile 1: Zeile 1:
{{#seo:
{{#seo:  
|title=Richtlinie für den sicheren Einsatz von Künstlicher Intelligenz (KI)
|title=KI-Einsatz: ISMS-integration, EU AI Act, DSGVO, BSI Grundschutz
|keywords=ISMS, KI-Sicherheit, KI-Richtlinie, Compliance, Datenschutz, Ethik, KI-Einsatz, Unternehmen, Informationssicherheit, Risikomanagement
|keywords=KI-Einsatz, EU AI Act, ISO 27001, BSI IT-Grundschutz, DSGVO KI, KI-Risikomanagement, Informationssicherheit KI, Datenschutz KI
|description=Diese Richtlinie hilft die Vorteile von KI zu nutzen und dabei Risiken zu minimieren und Compliance sicherzustellen.
|description=KI in Unternehmen & Behörden: Rechtliche, datenschutzrechtliche, sicherheitstechnische Leitfäden für ISO 27001, EU AI Act, BSI IT-Grundschutz. Risiken, Governance, Maßnahmen.}}
}}{{SHORTDESC:Richtlinie für den sicheren Einsatz von Künstlicher Intelligenz (KI)}}
{{SHORTDESC:Einführung zu sinnvollen Regelungen für den KI-Einsatz}}''KI-Einsatz in Unternehmen und Behörden: Rechtliche, datenschutzrechtliche, sicherheitstechnische Leitfäden für ISO 27001, EU AI Act, BSI IT-Grundschutz. Risiken, Governance, Maßnahmen.''
Mustervorlage: '''"Richtlinie für den sicheren Einsatz von Künstlicher Intelligenz (KI)"'''


''Muster-Richtlinie für den sicheren Einsatz von KI in der Organisation. Diese Richtlinie hilft die Vorteile von KI zu nutzen und dabei Risiken zu minimieren und Compliance sicherzustellen.''
== Einleitung ==
Der Einsatz von Künstlicher Intelligenz (KI) in Unternehmen und Behörden gewinnt rasant an Bedeutung und stellt Informationssicherheits-Managementsysteme (ISMS) vor neue Herausforderungen. KI-Systeme verarbeiten oft personenbezogene Daten, treffen automatisierte Entscheidungen und erfordern eine nahtlose Integration in bestehende Standards wie ISO/IEC 27001 sowie BSI Grundschutz. Der EU AI Act (seit August 2024 rechtskräftig) etabliert einen risikobasierten Ansatz, der mit DSGVO und BDSG kompatibel ist und spezifische Anforderungen an Transparenz, Robustheit und Nachvollziehbarkeit stellt.


== 1. Einleitung ==
Für Behörden gelten zusätzlich öffentlich-rechtliche Bindungen (z.B. Grundrechte Art. 1–3 GG), während Unternehmen wirtschaftliche Risiken wie Vendor Lock-in oder Haftungsstreitigkeiten prüfen müssen. Dieser Artikel fasst rechtliche, datenschutzrechtliche, sicherheitstechnische und organisatorische Belange zusammen und verweist auf vertiefende Inhalte im Wiki sowie externe Quellen.
Künstliche Intelligenz (KI) bietet der Organisation erhebliche Chancen zur Effizienzsteigerung, Innovation und Verbesserung von Dienstleistungen. Angesichts der rasanten Entwicklung von KI-Technologien und der damit verbundenen Risiken ist es unerlässlich, klare Richtlinien für den sicheren und verantwortungsvollen Einsatz von KI-Systemen festzulegen.


Diese Richtlinie soll einen Rahmen schaffen, um die Vorteile von KI zu nutzen und gleichzeitig potenzielle Risiken zu minimieren und die Einhaltung relevanter Gesetze und Vorschriften zu gewährleisten, einschließlich der EU-KI-Verordnung.
'''Relevanz für ISMS'''


== Geltungsbereich ==
KI-Einsatz beeinflusst die CIA-Triade (Vertraulichkeit, Integrität, Verfügbarkeit) und erfordert [[Zusätzliche Gefährdungen|Ergänzungen]] der verwendeten Risikokataloge wie z.B. den BSI G0-Katalog. Ziel ist eine risikobasierte Implementierung des KI-Einsatzes.
Diese Richtlinie gilt für alle Mitarbeitenden, Auftragnehmenden und Dritte, die KI-Systeme im Auftrag der Organisation entwickeln, implementieren, nutzen oder verwalten. Sie umfasst alle Arten von KI-Systemen, einschließlich, aber nicht beschränkt auf:


* Generative KI (z.B. Large Language Models – LLMs)
== Rechtlicher Rahmen ==
* Maschinelles Lernen (ML)
* Robotik
* Künstliche neuronale Netze


== Zielsetzung ==
* '''EU AI Act''': Risikobasierte Klassifikation (verboten, hochrisiko, geringes Risiko, GPAI). Zeitlicher Fahrplan (Verbote ab 2025, Hochrisiko ab 2026/2027). Anforderungen an Dokumentation, Konformität und Bußgelder.
Diese Richtlinie zielt darauf ab:
* '''Nationale Regelungen''': DSGVO-Integration (Art. 10 KI-VO für biometrische Daten), BDSG, öffentlich-rechtliche Sonderbindungen (GG Art. 1–3) für Behörden.
* '''Sektorale Vorgaben''': Verwaltungsrecht, hessische/länderspezifische Initiativen für öffentlichen Sektor.​


* Die Integration von Sicherheitsaspekten in den gesamten Lebenszyklus von KI-Systemen zu gewährleisten.
=== EU AI Act ===
* Risiken im Zusammenhang mit KI-Technologien zu identifizieren, zu bewerten und zu minimieren.
Der EU AI Act klassifiziert KI-Systeme in vier Risikostufen:
* Die Einhaltung von Datenschutzbestimmungen, ethischen Grundsätzen und relevanten Gesetzen, einschließlich der EU-KI-Verordnung, sicherzustellen.
* Transparenz und Verantwortlichkeit im Umgang mit KI-Systemen zu fördern.
* Das Bewusstsein für die potenziellen Risiken und Chancen von KI bei den Mitarbeitenden zu schärfen.
* Innovation und Wettbewerbsfähigkeit im Einklang mit ethischen Grundsätzen und regulatorischen Anforderungen zu fördern.


== Verantwortlichkeiten ==
* '''Unzulässig''' (z. B. Social Scoring, biometrische Echtzeit-Identifikation in öffentlichen Räumen) – Verbot ab Februar 2025.
* '''Organisationsleitung:''' Verantwortlich für die Genehmigung dieser Richtlinie und die Bereitstellung der notwendigen Ressourcen für deren Umsetzung.
* '''Hochrisiko''' (z. B. HR, Kreditvergabe, kritische Infrastruktur) – Konformitätsbewertung, Dokumentationspflichten und menschliche Aufsicht ab 2026/2027.
* '''Informationssicherheitsbeauftragte (ISB):''' Verantwortlich für die Überwachung der Einhaltung dieser Richtlinie und die Integration von KI-Sicherheit in das ISMS.
* '''Geringes Risiko''' – Transparenzpflichten (z. B. Chatbots).
* '''Datenschutzbeauftragte (DSB):''' Verantwortlich für die Überwachung der Einhaltung der Datenschutzbestimmungen im Zusammenhang mit KI-Systemen.
* '''GPAI (General Purpose AI)''' – Risikoanalyse und technische Dokumentation für Modelle wie GPT-Varianten.
* '''KI-Projektverantwortliche:''' Verantwortlich für die Einhaltung dieser Richtlinie bei der Entwicklung, Implementierung und Nutzung von KI-Systemen in ihren Projekten.
* '''Alle Mitarbeitenden:''' Verantwortlich für die Einhaltung dieser Richtlinie bei der Nutzung von KI-Systemen im Rahmen ihrer Tätigkeit für die Organisation.


== Richtlinien und Verfahren ==
Bußgelder bis 35 Mio. € oder 7% Umsatz. Verantwortung liegt primär beim Provider, sekundär beim Deployer.
Der sichere und verantwortungsvolle Einsatz von KI-Systemen erfordert einen ganzheitlichen Ansatz, der technische, organisatorische und ethische Aspekte berücksichtigt. Die folgenden Richtlinien und Verfahren bilden das Fundament für eine robuste KI-Governance in unserer Organisation.


Sie adressieren die Integration von KI-Sicherheit in bestehende Strukturen, die systematische Risikobewertung, die Einhaltung rechtlicher und ethischer Standards sowie die Gewährleistung von Transparenz und Verantwortlichkeit.
'''Weiterführende Informationen:'''


Diese Maßnahmen sollen sicherstellen, dass wir die Chancen der KI-Technologie nutzen können, während wir gleichzeitig potenzielle Risiken minimieren und das Vertrauen unserer Stakeholder in unsere KI-Anwendungen stärken.
* [[EU AI Act|Wiki: EU AI Act]]
* [https://eur-lex.europa.eu/legal-content/DE/TXT/PDF/?uri=CELEX:32024R1689 EU AI Act Volltext]


=== Integration von KI-Sicherheit in das ISMS ===
=== Nationale Regelungen ===
KI-Systeme stellen durch ihre Komplexität und Lernfähigkeit einzigartige Sicherheitsherausforderungen dar. Um diese systematisch zu adressieren, werden KI-Komponenten vollständig in das ISMS integriert. Dies bedeutet konkret:


* Alle KI-Systeme unterliegen den allgemeinen Sicherheitsrichtlinien der Organisation.
* '''Deutschland''': Ergänzungen durch BDSG (§ 35 Automatisierte Entscheidungen im Einzelfall einschließlich Profiling), KI-Strategie der Bundesregierung (2020/aktualisiert 2025). Behörden müssen öffentlich-rechtliche Prinzipien (Rechtsstaatlichkeit, Verhältnismäßigkeit) wahren.​
* Spezifische Schutzmaßnahmen gegen KI-spezifische Angriffsvektoren wie Prompt-Injection sind zu implementieren, da ungefilterte Eingaben zu manipulierten Ergebnissen oder Datenlecks führen können.
* '''Länderspezifisch''': Hessische KI-Verordnung, bayrische Orientierungshilfen für öffentliche Verwaltung.
* Für LLMs (Large Language Models) sind zusätzliche Content-Filter und Input-Validierungen vorzusehen, um die Generierung von Fehlinformationen oder urheberrechtlich problematischen Inhalten zu verhindern.
* '''Sektoral''': Finanzsektor (BaFin-MaRisk), Gesundheitswesen (DiGA-Verordnung).


=== Risikobewertung von KI-Systemen ===
'''Weiterführende Informationen:'''
Aufgrund der dynamischen Entwicklungen im KI-Bereich erfordert jede KI-Anwendung eine initiale und jährliche Risikoanalyse. Dieser Prozess dient dazu:


* Kritische Einsatzbereiche (z.B. personalisierte Kundeninteraktionen) zu identifizieren, wo Fehlentscheidungen rechtliche oder reputative Schäden verursachen könnten.
* [https://www.bsi.bund.de/DE/Themen/Unternehmen-und-Organisationen/Informationen-und-Empfehlungen/Kuenstliche-Intelligenz/AIC4/aic4.html Kriterienkatalog für <abbr>KI</abbr>-Cloud-Dienste – <abbr>AIC4</abbr>]
* Technische Risiken wie Modell-Drift (unbemerkte Leistungsverschlechterung) zu berücksichtigen, die durch kontinuierliches Monitoring aufgefangen werden müssen.
* [https://www.gesetze-im-internet.de/bdsg_2018/__37.html BDSG: §37 Automatisierte Entscheidungen im Einzelfall einschließlich Profiling]
* Ethische Risikofaktoren (Bias in Trainingsdaten) zu analysieren, die etwa zu diskriminierenden Entscheidungen führen könnten – ein Aspekt, der zentral für die Akzeptanz von KI-Systemen ist.


=== Compliance-konformer KI-Einsatz ===
=== Übergangsregelungen und Neuklassifizierung ===
Die EU-KI-Verordnung klassifiziert KI-Systeme in vier Risikoklassen – diese Einstufung bildet die Basis für unsere Compliance-Maßnahmen:
KI-Systeme müssen bei wesentlichen Änderungen neu klassifiziert werden. Bestehende Systeme bis 2027.​


* Hochrisiko-KI-Systeme (z.B. CV-Screening-Tools) erfordern eine Konformitätserklärung, technische Dokumentation und menschliche Aufsichtspflicht.
== Datenschutzrechtliche Aspekte ==
* Transparenzpflichten gemäß Art. 52 AI Act: Bei KI-gesteuerten Chatbots muss für Nutzende klar erkennbar sein, dass sie mit einem KI-System interagieren.
* Datenherkunftsnachweise sind für Trainingsdatensätze zu führen, um Urheberrechtsverletzungen und Compliance-Risiken bei generativer KI (z.B. Text-/Bildgenerierung) zu minimieren.


=== Datensicherheit und Datenschutz ===
=== DSGVO-Konformität ===
KI-Systeme sind datenhungrig – dieser Abschnitt stellt sicher, dass Datenflüsse rechtssicher gestaltet werden:
KI-Trainingsdaten unterliegen Art. 5 DSGVO (Rechtsmäßigkeit, Zweckbindung). Bei biometrischen Daten: Art. 10 KI-VO (Verbot biometrische Kategorisierung). Datenschutz-Folgenabschätzung (DSFA, Art. 35) obligatorisch für Hochrisiko-Anwendungen.


* Bei der Verarbeitung personenbezogener Daten ist das Prinzip "Privacy by Design" umzusetzen, z.B. durch Synthetic Data Generation oder Differential Privacy bei sensiblen Datensätzen.
'''Kernpflichten'''
* Datenminimierung ist besonders kritisch: Trainingsdatensätze dürfen nur notwendige Attribute enthalten, um das "Overfitting"-Risiko (unbeabsichtigtes Speichern sensitiver Muster) zu reduzieren.


=== Transparenz und Rechenschaftspflicht ===
* '''Trainingsdaten''': Bereinigung sensibler Daten, Pseudonymisierung, Löschung nach Zweck (Art. 17).
Nachvollziehbarkeit ist Voraussetzung für Vertrauen in KI-Entscheidungen. Hierfür wird festgelegt:
* '''Outputs''': Transparenz bei automatisierter Entscheidungsfindung (Art. 22), Recht auf Erklärung.
* '''AVV (Auftragsverarbeitung)''': Cloud-KI-Provider als Auftragsverarbeiter prüfen.


* Entscheidungsprotokolle müssen so dokumentiert werden, dass eine Nachvollziehbarkeit ohne Fachwissen in Machine Learning möglich ist (Explainable AI-Prinzipien).
=== Orientierungshilfen ===
* Eine Eskalationsmatrix definiert Verantwortlichkeiten – z.B. ob der KI-Entwickler, Fachbereich oder die Geschäftsführung bei Fehlentscheidungen haftet.


=== Ethische Leitplanken und Innovation ===
* '''Datenschutzkonferenz (DSK)''': Leitfaden „Künstliche Intelligenz und Datenschutz“ – Checkliste für Datensparsamkeit und Rechenschaftspflicht.​
Um Innovationspotenziale verantwortungsvoll zu nutzen, gilt:
* '''BayLDA/LfDI''': Praktische Hinweise zu Shadow-KI und ChatGPT-Nutzung in Behörden.​


* Ethische Review-Boards begleiten KI-Projekte ab der Konzeptphase, analog zu Medizintechnik-Entwicklungen.
=== Betroffenenrechte und Transparenz ===
* Open-Source-KI-Komponenten sind generell zu bevorzugen, sofern sie Sicherheitsanforderungen erfüllen – dies fördert Reproduzierbarkeit und unabhängige Sicherheitsaudits.
Benutzende müssen über KI-Einsatz informiert werden (Art. 13/14). Erweiterte Informationspflichten bei GPAI: Modellkarte offenlegen. Bias-Tests dokumentieren, um Diskriminierungsverbot (Art. 21 GG) zu wahren.​


== Schulung und Sensibilisierung ==
'''Praktische Umsetzung'''
KI-Kompetenz ist kein IT-Spezialthema mehr. Unser Schulungskonzept umfasst daher:
{| class="wikitable"
!Aspekt
!Maßnahme
!Rechtsgrundlage
|-
|DSFA
|Vor KI-Einsatz durchführen
|Art. 35 DSGVO
|-
|Rechteauskunft
|KI-spezifische Vorlage
|Art. 15 DSGVO
|-
|Löschung
|Trainingsdaten entfernen
|Art. 17 DSGVO
|}
'''Weiterführende Informationen:'''


* Pflichttrainings für Führungskräfte zur Risikoeinschätzung von KI-Projekten (Analog: DSGVO-Schulungen).
* [https://www.datenschutzkonferenz-online.de/media/oh/DSK_OH_RAG.pdf DSK: Orientierungshilfe zu datenschutzrechtlichen Besonderheiten generativer KI-Systeme mit RAG-Methode]
* Praxisworkshops für Entwicklerteams zu Secure-Coding-Praktiken für KI-Modelle, inklusive OWASP-Top-10 für Machine Learning.
* [https://www.datenschutzkonferenz-online.de/media/oh/DSK-OH_KI-Systeme.pdf DSK: Orientierungshilfe zu empfohlenen technischen und organisatorischen Maßnahmen bei der Entwicklung und beim Betrieb von KI-Systemen]
* Awareness-Kampagnen für alle Mitarbeitenden zur Erkennung von Deepfakes und KI-generierten Phishing-Angriffen.
* [[KI Datenschutz|Wiki: Datenschutz in KI-Anwendungen.]]


== Überwachung und kontinuierliche Verbesserung ==
== Sicherheitsaspekte (ISMS-Integration) ==
KI-Systeme sind keine "Fire-and-Forget"-Lösungen. Unser Kontrollsystem sieht vor:
KI-Einsatz erfordert eine Erweiterung des ISMS um spezifische Gefährdungen, die die CIA-Triade (Vertraulichkeit, Integrität, Verfügbarkeit) bedrohen und über den BSI IT-Grundschutz G0-Katalog hinausgehen. Nach BSI Standard 200-3 müssen diese in der Risikoanalyse bewertet und mit Maßnahmen aus ISO 27001 Anhang A (z. B. A.8.25 für sichere Entwicklung) kontrolliert werden.​


* Quartalsweise Performance-Audits mit Bias-Checks mittels Tools wie z.B. IBM AI Fairness 360.
=== Gefährdungskatalog-Ergänzungen ===
* Einrichtung eines KI-Registers zur Dokumentation aller produktiven KI-Anwendungen inkl. ihrer Risikoklassifizierung.
KI-spezifische Risiken wie folgt klassifiziert (CIA-Analyse):
* Bug-Bounty-Programme, die explizit Schwachstellen in KI-Komponenten adressieren.


== Schlussbemerkung ==
* '''Prompt Injections''': Manipulation von Eingaben zu Large Language Models (hoch I/C).
* '''Data Poisoning''': Vergiftung von Trainingsdaten (hoch I, mittel A).
* '''Modelllecks''': Training Data Leakage oder IP-Exfiltration (hoch C).
* '''Unkontrollierte Nutzung von Schatten-KI''': Unkontrollierte Nutzung privater Tools (mittel C/I).
* '''Black-Box-Effekte''': Mangelnde Nachvollziehbarkeit (hoch I/A).


=== Behandlung von Ausnahmen ===
=== ISMS-Maßnahmen und Standards ===
Ausnahmen von den Regelungen dieser Richtlinie sind nur mit einem begründeten Ausnahmeantrag im Rahmen des [[RiLi-Ausnahmemanagement|Ausnahmemanagements]] möglich.
* '''BSI KI-Kriterienkatalog (2025)''': Sicherheitsniveaus (Low/Medium/High) für generative KI, mit Tests auf Jailbreaks und Bias.
* '''ISO 27001 Anhang A''': A.8.25 Sichere Entwicklung, A.12.6 Vulnerability-Management.
* '''Risikobewertung''': Erweiterte Gefährdungsanalyse nach BSI 200-3, inklusive Supply-Chain-Risiken bei Cloud-KI-Providern.


=== Revision ===
'''Weiterführende Informationen:'''
Diese Richtlinie wird regelmäßig, jedoch mindestens einmal pro Jahr, durch den Regelungsverantwortlichen auf Aktualität und Konformität geprüft und bei Bedarf angepasst.


== Inkrafttreten ==
* [https://www.bsi.bund.de/SharedDocs/Downloads/DE/BSI/KI/Kriterienkatalog_KI-Modelle_Bundesverwaltung.html BSI KI-Kriterienkatalog 2025.]
Diese Richtlinie tritt zum 01.01.2222 in Kraft.
* [[Zusätzliche Gefährdungen|Wiki: Zusätzliche Gefährdungen (ergänzt und spezifische KI-Gefährdungen)]]
* [[RiLi-KI-Einsatz|Wiki: Richtlinie für den sicheren Einsatz von Künstlicher Intelligenz (KI)]]
* [[LF-KI-Sicherheit|Wiki: Leitfaden zur KI-Sicherheit]]
* [[LF-KI-Chatbots|Wiki: Leitfaden für Mitarbeitende zur Nutzung von KI-Systemen.]]


Freigegeben durch: Organisationsleitung
== Technische Aspekte ==
Technische Umsetzung von KI muss Robustheit, Nachvollziehbarkeit und Datensicherheit gewährleisten, um EU AI Act-Anforderungen (z. B. Art. 15 für Hochrisiko) und ISMS-Ziele zu erfüllen. Der Fokus liegt auf dem gesamten KI-Lebenszyklus.​


Ort, 01.12.2220,
=== Implementierungsprinzipien ===


Unterschrift, Name der Leitung
* '''Daten-Governance''': Saubere Trainingsdaten (Preprocessing, Anonymisierung), RAG (Retrieval-Augmented Generation) statt reinem Fine-Tuning zur Vermeidung von Halluzinationen.
[[Kategorie:Mustervorlage]]
* '''Modellsicherheit''': Hardening-Techniken wie Adversarial Training, Modellkardinalität (Input/Output-Beschränkungen).
[[Kategorie:Richtlinie]]
* '''Nachvollziehbarkeit (XAI)''': SHAP für globale Feature-Importance, LIME für lokale Erklärungen einzelner Vorhersagen – essenziell für Art. 22 DSGVO.
 
=== Lebenszyklus-Management ===
'''KI-System-Phasen und Sicherheitskontrollen'''
{| class="wikitable"
!Phase
!Technische Maßnahmen
!ISMS-Verknüpfung
|-
|Auswahl/Training
|Datenvalidierung, Secure MPC
|A.8.25 Entwicklung
|-
|Deployment
|Sandboxing, Human-in-the-Loop
|A.12.4 Monitoring
|-
|Betrieb
|Continuous Model Monitoring (Drift/Bias)
|A.12.6 Vulnerabilities
|-
|Decommissioning
|Modelllöschung, Audit-Logs
|A.18.1 Compliance
|}
 
=== Hochrisiko-Anwendungen ===
 
* '''Sektoren''': HR (Bias-Prüfung), Gesundheitswesen (FDA/DiGA-konform), kritische Infrastruktur (real-time Robustheit).
* '''Technische Standards''': ONNX für Modell-Portabilität, TensorFlow Privacy für Federated Learning.
 
'''Praktische Umsetzung'''
 
* '''Tools''': MLflow für Lifecycle-Tracking, Adversarial Robustness Toolbox (ART) für Angriffstests.
* '''Cloud-KI''': AWS SageMaker oder Azure ML mit integrierten Security-Features prüfen (AVV-pflichtig).
 
'''Weiterführende Informationen:'''
 
* [https://eur-lex.europa.eu/legal-content/DE/TXT/HTML/?uri=CELEX:32024R1689#art_11 EU AI Act Artikel 11 - Technische Dokumentation]
* [https://eur-lex.europa.eu/legal-content/DE/TXT/HTML/?uri=CELEX:32024R1689#anx_IV EU AI Act  Anhang IV - Technische Dokumentation]
* [https://www.bsi.bund.de/DE/Service-Navi/Presse/Alle-Meldungen-News/Meldungen/Leitfaden_KI-Systeme_230124.html BSI Secure AI Guidelines.]
* [[KI-Register|Wiki: KI-Register]]
* [[KI Cybersicherheit|KI als Fluch und Segen in der Cybersicherheit.]]
 
== Governance und Organisation ==
Eine effektive KI-Governance stellt sicher, dass KI-Einsatz mit ISMS-Zielen (ISO 27001, BSI Grundschutz) übereinstimmt und EU AI Act-Anforderungen erfüllt. Sie umfasst organisatorische Strukturen, Prozesse und Verantwortlichkeiten, um Risiken wie Shadow-KI oder Bias zu minimieren. Die Geschäftsleitung trägt gemäß ISO 27001 Abschnitt 5.1 die oberste Verantwortung und muss KI-spezifische Richtlinien (A.5.1) etablieren.
 
=== KI-Governancestruktur ===
 
* '''KI-Steuerungsgremium''': Interdisziplinäres Gremium (IT-Sicherheit, Datenschutzbeauftragte, Rechtsabteilung, Fachabteilungen) für Risikobewertungen, Modellfreigaben und Audits. Regelmäßige Meetings (vierteljährlich) zur Überprüfung von KI-Projekten.
 
* '''Rollen und Verantwortlichkeiten''':<br>
{| class="wikitable"
!Rolle
!Aufgaben
!Rechtsgrundlage
|-
|KI-Provider (extern)
|Technische Dokumentation, Konformitätserklärung
|EU AI Act Art. 13
|-
|KI-Deployer (intern)
|Risikoanalyse, menschliche Aufsicht
|EU AI Act Art. 29
|-
|Datenschutzbeauftragte
|DSFA, Betroffenenrechte
|DSGVO Art. 39
|-
|ISMS-Leitung
|Integration in Risikomanagement
|ISO 27001 A.5.1
|}
 
* '''KI-Nutzungsrichtlinie''': Verbot privater KI-Tools (Shadow-KI), Pflicht zu genehmigten Modellen, Sanktionen bei Verstößen. Schulungspflicht für Mitarbeitende (KI-Literacy).
 
=== Prozesse und Workflows ===
 
* '''Risikobewertungsvorlage''': Vorlage für neue KI-Projekte mit CIA-Analyse, EU AI Act-Risikostufe und DSFA-Trigger. Workflow: Antrag → Gremium → Freigabe → Monitoring.
* '''Audit und Reporting''': Jährliche KI-Inventar (alle Systeme auflisten), Incident-Reporting für Bias-Vorfälle oder Modell-Drift. Integration in ISO 27001 Management Review (Abschnitt 9.3).
* '''Schulungen''': Obligatorische Einstiegsschulung zu KI-Risiken (~2h), vertiefte für Entwickler (XAI, Secure Coding). Nachweis via LMS.
 
=== Besonderheiten für Behörden ===
 
* '''Grundrechtsschutz''': Zusätzliche Prüfung auf Verhältnismäßigkeit (GG Art. 1–3), Transparenz gegenüber Bürger:innen. Beliehene Unternehmen (z. B. Zeugnisstellen) fallen unter öffentlich-rechtliche Standards.
* '''Öffentliche Unternehmen''': Archivierungspflicht für KI-Entscheidungen.
 
'''Praktische Umsetzung'''
 
* '''Checkliste für KI-Projekte''':
*# Risikostufe bestimmen,
*# Provider prüfen,
*# DSFA durchführen,
*# Technische Dokumentation anlegen,
*# Monitoring einrichten.
* '''Vorlage''': KI-Risikobewertungstabelle (Excel) mit Spalten für Gefährdung, Wahrscheinlichkeit, Schaden, Maßnahmen.
 
'''Weiterführende Informationen:'''
 
* Wiki: ISMS-Organisation
* ISO 27001:2022 Abschnitt 5 (Führung).
 
== Weiterführende Quellen ==
 
=== Primärquellen (Gesetze und Verordnungen) ===
 
* '''EU AI Act''': Volltext – Offizielle Übersetzung, Anhang mit Hochrisiko-Listen.
* '''DSGVO''': Art. 22, 35 – Automatisierte Entscheidungen, DSFA.
* '''BDSG''': § 35 – Automatisierte Entscheidungen im öffentlichen Recht.
 
=== Behörden und Standardisierungsgremien ===
 
* '''BSI''':
** KI-Kriterienkatalog 2025 – Testszenarien für generative KI.
** IT-Grundschutz Compendium – G0-Module.
* '''Datenschutzkonferenz (DSK)''': Leitfaden KI und Datenschutz – Praktische Checkliste.
* '''BayLDA''': KI & Datenschutz – Orientierung für Behörden.
 
=== Branchenverbände und Ratgeber ===
 
* '''IHK München''': Datenschutz & KI – Praktische Hinweise für KMU.
* '''Bitkom''': KI-Guide für Unternehmen – Best Practices.
* '''BaFin''': MaRisk für KI im Finanzsektor.
 
=== Technische Ressourcen ===
 
* '''XAI-Tools''': SHAP-Dokumentation, LIME – Open Source für Erklärbarkeit.
* '''Secure AI Frameworks''': Adversarial Robustness Toolbox – Tests auf Angriffe.
 
=== Wiki-interne Verweise ===
 
* [[EU AI Act]]
* [[KI Cybersicherheit]]
* [[KI Datenschutz]]
* [[KI-Nutzung]]
* [[KI-Register]]
* [[LF-KI-Chatbots]]
* [[RiLi-KI-Einsatz]]
* [[Zusätzliche Gefährdungen]]
 
[[Kategorie:Artikel]]
[[Kategorie:KI]]

Aktuelle Version vom 1. April 2026, 15:17 Uhr

KI-Einsatz in Unternehmen und Behörden: Rechtliche, datenschutzrechtliche, sicherheitstechnische Leitfäden für ISO 27001, EU AI Act, BSI IT-Grundschutz. Risiken, Governance, Maßnahmen.

Einleitung

Der Einsatz von Künstlicher Intelligenz (KI) in Unternehmen und Behörden gewinnt rasant an Bedeutung und stellt Informationssicherheits-Managementsysteme (ISMS) vor neue Herausforderungen. KI-Systeme verarbeiten oft personenbezogene Daten, treffen automatisierte Entscheidungen und erfordern eine nahtlose Integration in bestehende Standards wie ISO/IEC 27001 sowie BSI Grundschutz. Der EU AI Act (seit August 2024 rechtskräftig) etabliert einen risikobasierten Ansatz, der mit DSGVO und BDSG kompatibel ist und spezifische Anforderungen an Transparenz, Robustheit und Nachvollziehbarkeit stellt.

Für Behörden gelten zusätzlich öffentlich-rechtliche Bindungen (z.B. Grundrechte Art. 1–3 GG), während Unternehmen wirtschaftliche Risiken wie Vendor Lock-in oder Haftungsstreitigkeiten prüfen müssen. Dieser Artikel fasst rechtliche, datenschutzrechtliche, sicherheitstechnische und organisatorische Belange zusammen und verweist auf vertiefende Inhalte im Wiki sowie externe Quellen.

Relevanz für ISMS

KI-Einsatz beeinflusst die CIA-Triade (Vertraulichkeit, Integrität, Verfügbarkeit) und erfordert Ergänzungen der verwendeten Risikokataloge wie z.B. den BSI G0-Katalog. Ziel ist eine risikobasierte Implementierung des KI-Einsatzes.

Rechtlicher Rahmen

  • EU AI Act: Risikobasierte Klassifikation (verboten, hochrisiko, geringes Risiko, GPAI). Zeitlicher Fahrplan (Verbote ab 2025, Hochrisiko ab 2026/2027). Anforderungen an Dokumentation, Konformität und Bußgelder.
  • Nationale Regelungen: DSGVO-Integration (Art. 10 KI-VO für biometrische Daten), BDSG, öffentlich-rechtliche Sonderbindungen (GG Art. 1–3) für Behörden.
  • Sektorale Vorgaben: Verwaltungsrecht, hessische/länderspezifische Initiativen für öffentlichen Sektor.​

EU AI Act

Der EU AI Act klassifiziert KI-Systeme in vier Risikostufen:

  • Unzulässig (z. B. Social Scoring, biometrische Echtzeit-Identifikation in öffentlichen Räumen) – Verbot ab Februar 2025.
  • Hochrisiko (z. B. HR, Kreditvergabe, kritische Infrastruktur) – Konformitätsbewertung, Dokumentationspflichten und menschliche Aufsicht ab 2026/2027.
  • Geringes Risiko – Transparenzpflichten (z. B. Chatbots).
  • GPAI (General Purpose AI) – Risikoanalyse und technische Dokumentation für Modelle wie GPT-Varianten.

Bußgelder bis 35 Mio. € oder 7% Umsatz. Verantwortung liegt primär beim Provider, sekundär beim Deployer.

Weiterführende Informationen:

Nationale Regelungen

  • Deutschland: Ergänzungen durch BDSG (§ 35 Automatisierte Entscheidungen im Einzelfall einschließlich Profiling), KI-Strategie der Bundesregierung (2020/aktualisiert 2025). Behörden müssen öffentlich-rechtliche Prinzipien (Rechtsstaatlichkeit, Verhältnismäßigkeit) wahren.​
  • Länderspezifisch: Hessische KI-Verordnung, bayrische Orientierungshilfen für öffentliche Verwaltung.
  • Sektoral: Finanzsektor (BaFin-MaRisk), Gesundheitswesen (DiGA-Verordnung).

Weiterführende Informationen:

Übergangsregelungen und Neuklassifizierung

KI-Systeme müssen bei wesentlichen Änderungen neu klassifiziert werden. Bestehende Systeme bis 2027.​

Datenschutzrechtliche Aspekte

DSGVO-Konformität

KI-Trainingsdaten unterliegen Art. 5 DSGVO (Rechtsmäßigkeit, Zweckbindung). Bei biometrischen Daten: Art. 10 KI-VO (Verbot biometrische Kategorisierung). Datenschutz-Folgenabschätzung (DSFA, Art. 35) obligatorisch für Hochrisiko-Anwendungen.

Kernpflichten

  • Trainingsdaten: Bereinigung sensibler Daten, Pseudonymisierung, Löschung nach Zweck (Art. 17).
  • Outputs: Transparenz bei automatisierter Entscheidungsfindung (Art. 22), Recht auf Erklärung.
  • AVV (Auftragsverarbeitung): Cloud-KI-Provider als Auftragsverarbeiter prüfen.

Orientierungshilfen

  • Datenschutzkonferenz (DSK): Leitfaden „Künstliche Intelligenz und Datenschutz“ – Checkliste für Datensparsamkeit und Rechenschaftspflicht.​
  • BayLDA/LfDI: Praktische Hinweise zu Shadow-KI und ChatGPT-Nutzung in Behörden.​

Betroffenenrechte und Transparenz

Benutzende müssen über KI-Einsatz informiert werden (Art. 13/14). Erweiterte Informationspflichten bei GPAI: Modellkarte offenlegen. Bias-Tests dokumentieren, um Diskriminierungsverbot (Art. 21 GG) zu wahren.​

Praktische Umsetzung

Aspekt Maßnahme Rechtsgrundlage
DSFA Vor KI-Einsatz durchführen Art. 35 DSGVO
Rechteauskunft KI-spezifische Vorlage Art. 15 DSGVO
Löschung Trainingsdaten entfernen Art. 17 DSGVO

Weiterführende Informationen:

Sicherheitsaspekte (ISMS-Integration)

KI-Einsatz erfordert eine Erweiterung des ISMS um spezifische Gefährdungen, die die CIA-Triade (Vertraulichkeit, Integrität, Verfügbarkeit) bedrohen und über den BSI IT-Grundschutz G0-Katalog hinausgehen. Nach BSI Standard 200-3 müssen diese in der Risikoanalyse bewertet und mit Maßnahmen aus ISO 27001 Anhang A (z. B. A.8.25 für sichere Entwicklung) kontrolliert werden.​

Gefährdungskatalog-Ergänzungen

KI-spezifische Risiken wie folgt klassifiziert (CIA-Analyse):

  • Prompt Injections: Manipulation von Eingaben zu Large Language Models (hoch I/C).
  • Data Poisoning: Vergiftung von Trainingsdaten (hoch I, mittel A).
  • Modelllecks: Training Data Leakage oder IP-Exfiltration (hoch C).
  • Unkontrollierte Nutzung von Schatten-KI: Unkontrollierte Nutzung privater Tools (mittel C/I).
  • Black-Box-Effekte: Mangelnde Nachvollziehbarkeit (hoch I/A).

ISMS-Maßnahmen und Standards

  • BSI KI-Kriterienkatalog (2025): Sicherheitsniveaus (Low/Medium/High) für generative KI, mit Tests auf Jailbreaks und Bias.
  • ISO 27001 Anhang A: A.8.25 Sichere Entwicklung, A.12.6 Vulnerability-Management.
  • Risikobewertung: Erweiterte Gefährdungsanalyse nach BSI 200-3, inklusive Supply-Chain-Risiken bei Cloud-KI-Providern.

Weiterführende Informationen:

Technische Aspekte

Technische Umsetzung von KI muss Robustheit, Nachvollziehbarkeit und Datensicherheit gewährleisten, um EU AI Act-Anforderungen (z. B. Art. 15 für Hochrisiko) und ISMS-Ziele zu erfüllen. Der Fokus liegt auf dem gesamten KI-Lebenszyklus.​

Implementierungsprinzipien

  • Daten-Governance: Saubere Trainingsdaten (Preprocessing, Anonymisierung), RAG (Retrieval-Augmented Generation) statt reinem Fine-Tuning zur Vermeidung von Halluzinationen.
  • Modellsicherheit: Hardening-Techniken wie Adversarial Training, Modellkardinalität (Input/Output-Beschränkungen).
  • Nachvollziehbarkeit (XAI): SHAP für globale Feature-Importance, LIME für lokale Erklärungen einzelner Vorhersagen – essenziell für Art. 22 DSGVO.

Lebenszyklus-Management

KI-System-Phasen und Sicherheitskontrollen

Phase Technische Maßnahmen ISMS-Verknüpfung
Auswahl/Training Datenvalidierung, Secure MPC A.8.25 Entwicklung
Deployment Sandboxing, Human-in-the-Loop A.12.4 Monitoring
Betrieb Continuous Model Monitoring (Drift/Bias) A.12.6 Vulnerabilities
Decommissioning Modelllöschung, Audit-Logs A.18.1 Compliance

Hochrisiko-Anwendungen

  • Sektoren: HR (Bias-Prüfung), Gesundheitswesen (FDA/DiGA-konform), kritische Infrastruktur (real-time Robustheit).
  • Technische Standards: ONNX für Modell-Portabilität, TensorFlow Privacy für Federated Learning.

Praktische Umsetzung

  • Tools: MLflow für Lifecycle-Tracking, Adversarial Robustness Toolbox (ART) für Angriffstests.
  • Cloud-KI: AWS SageMaker oder Azure ML mit integrierten Security-Features prüfen (AVV-pflichtig).

Weiterführende Informationen:

Governance und Organisation

Eine effektive KI-Governance stellt sicher, dass KI-Einsatz mit ISMS-Zielen (ISO 27001, BSI Grundschutz) übereinstimmt und EU AI Act-Anforderungen erfüllt. Sie umfasst organisatorische Strukturen, Prozesse und Verantwortlichkeiten, um Risiken wie Shadow-KI oder Bias zu minimieren. Die Geschäftsleitung trägt gemäß ISO 27001 Abschnitt 5.1 die oberste Verantwortung und muss KI-spezifische Richtlinien (A.5.1) etablieren.

KI-Governancestruktur

  • KI-Steuerungsgremium: Interdisziplinäres Gremium (IT-Sicherheit, Datenschutzbeauftragte, Rechtsabteilung, Fachabteilungen) für Risikobewertungen, Modellfreigaben und Audits. Regelmäßige Meetings (vierteljährlich) zur Überprüfung von KI-Projekten.
  • Rollen und Verantwortlichkeiten:
Rolle Aufgaben Rechtsgrundlage
KI-Provider (extern) Technische Dokumentation, Konformitätserklärung EU AI Act Art. 13
KI-Deployer (intern) Risikoanalyse, menschliche Aufsicht EU AI Act Art. 29
Datenschutzbeauftragte DSFA, Betroffenenrechte DSGVO Art. 39
ISMS-Leitung Integration in Risikomanagement ISO 27001 A.5.1
  • KI-Nutzungsrichtlinie: Verbot privater KI-Tools (Shadow-KI), Pflicht zu genehmigten Modellen, Sanktionen bei Verstößen. Schulungspflicht für Mitarbeitende (KI-Literacy).

Prozesse und Workflows

  • Risikobewertungsvorlage: Vorlage für neue KI-Projekte mit CIA-Analyse, EU AI Act-Risikostufe und DSFA-Trigger. Workflow: Antrag → Gremium → Freigabe → Monitoring.
  • Audit und Reporting: Jährliche KI-Inventar (alle Systeme auflisten), Incident-Reporting für Bias-Vorfälle oder Modell-Drift. Integration in ISO 27001 Management Review (Abschnitt 9.3).
  • Schulungen: Obligatorische Einstiegsschulung zu KI-Risiken (~2h), vertiefte für Entwickler (XAI, Secure Coding). Nachweis via LMS.

Besonderheiten für Behörden

  • Grundrechtsschutz: Zusätzliche Prüfung auf Verhältnismäßigkeit (GG Art. 1–3), Transparenz gegenüber Bürger:innen. Beliehene Unternehmen (z. B. Zeugnisstellen) fallen unter öffentlich-rechtliche Standards.
  • Öffentliche Unternehmen: Archivierungspflicht für KI-Entscheidungen.

Praktische Umsetzung

  • Checkliste für KI-Projekte:
    1. Risikostufe bestimmen,
    2. Provider prüfen,
    3. DSFA durchführen,
    4. Technische Dokumentation anlegen,
    5. Monitoring einrichten.
  • Vorlage: KI-Risikobewertungstabelle (Excel) mit Spalten für Gefährdung, Wahrscheinlichkeit, Schaden, Maßnahmen.

Weiterführende Informationen:

  • Wiki: ISMS-Organisation
  • ISO 27001:2022 Abschnitt 5 (Führung).

Weiterführende Quellen

Primärquellen (Gesetze und Verordnungen)

  • EU AI Act: Volltext – Offizielle Übersetzung, Anhang mit Hochrisiko-Listen.
  • DSGVO: Art. 22, 35 – Automatisierte Entscheidungen, DSFA.
  • BDSG: § 35 – Automatisierte Entscheidungen im öffentlichen Recht.

Behörden und Standardisierungsgremien

  • BSI:
    • KI-Kriterienkatalog 2025 – Testszenarien für generative KI.
    • IT-Grundschutz Compendium – G0-Module.
  • Datenschutzkonferenz (DSK): Leitfaden KI und Datenschutz – Praktische Checkliste.
  • BayLDA: KI & Datenschutz – Orientierung für Behörden.

Branchenverbände und Ratgeber

  • IHK München: Datenschutz & KI – Praktische Hinweise für KMU.
  • Bitkom: KI-Guide für Unternehmen – Best Practices.
  • BaFin: MaRisk für KI im Finanzsektor.

Technische Ressourcen

  • XAI-Tools: SHAP-Dokumentation, LIME – Open Source für Erklärbarkeit.
  • Secure AI Frameworks: Adversarial Robustness Toolbox – Tests auf Angriffe.

Wiki-interne Verweise

Abgerufen von „https://wiki.isms-ratgeber.info/index.php?title=RiLi-KI-Einsatz&oldid=2023“