RiLi-KI-Einsatz: Unterschied zwischen den Versionen
Dirk (Diskussion | Beiträge) |
Dirk (Diskussion | Beiträge) KKeine Bearbeitungszusammenfassung |
||
| Zeile 1: | Zeile 1: | ||
{{#seo: | {{#seo: | ||
|title= | |title=KI-Einsatz: ISMS-integration, EU AI Act, DSGVO, BSI Grundschutz | ||
|keywords= | |keywords=KI-Einsatz, EU AI Act, ISO 27001, BSI IT-Grundschutz, DSGVO KI, KI-Risikomanagement, Informationssicherheit KI, Datenschutz KI | ||
|description= | |description=KI in Unternehmen & Behörden: Rechtliche, datenschutzrechtliche, sicherheitstechnische Leitfäden für ISO 27001, EU AI Act, BSI IT-Grundschutz. Risiken, Governance, Maßnahmen.}} | ||
}}{{SHORTDESC: | {{SHORTDESC:Einführung zu sinnvollen Regelungen für den KI-Einsatz}}''KI-Einsatz in Unternehmen und Behörden: Rechtliche, datenschutzrechtliche, sicherheitstechnische Leitfäden für ISO 27001, EU AI Act, BSI IT-Grundschutz. Risiken, Governance, Maßnahmen.'' | ||
== Einleitung == | |||
Der Einsatz von Künstlicher Intelligenz (KI) in Unternehmen und Behörden gewinnt rasant an Bedeutung und stellt Informationssicherheits-Managementsysteme (ISMS) vor neue Herausforderungen. KI-Systeme verarbeiten oft personenbezogene Daten, treffen automatisierte Entscheidungen und erfordern eine nahtlose Integration in bestehende Standards wie ISO/IEC 27001 sowie BSI Grundschutz. Der EU AI Act (seit August 2024 rechtskräftig) etabliert einen risikobasierten Ansatz, der mit DSGVO und BDSG kompatibel ist und spezifische Anforderungen an Transparenz, Robustheit und Nachvollziehbarkeit stellt. | |||
Für Behörden gelten zusätzlich öffentlich-rechtliche Bindungen (z.B. Grundrechte Art. 1–3 GG), während Unternehmen wirtschaftliche Risiken wie Vendor Lock-in oder Haftungsstreitigkeiten prüfen müssen. Dieser Artikel fasst rechtliche, datenschutzrechtliche, sicherheitstechnische und organisatorische Belange zusammen und verweist auf vertiefende Inhalte im Wiki sowie externe Quellen. | |||
'''Relevanz für ISMS''' | |||
KI-Einsatz beeinflusst die CIA-Triade (Vertraulichkeit, Integrität, Verfügbarkeit) und erfordert [[Zusätzliche Gefährdungen|Ergänzungen]] der verwendeten Risikokataloge wie z.B. den BSI G0-Katalog. Ziel ist eine risikobasierte Implementierung des KI-Einsatzes. | |||
== | == Rechtlicher Rahmen == | ||
''' | * '''EU AI Act''': Risikobasierte Klassifikation (verboten, hochrisiko, geringes Risiko, GPAI). Zeitlicher Fahrplan (Verbote ab 2025, Hochrisiko ab 2026/2027). Anforderungen an Dokumentation, Konformität und Bußgelder. | ||
* '''Nationale Regelungen''': DSGVO-Integration (Art. 10 KI-VO für biometrische Daten), BDSG, öffentlich-rechtliche Sonderbindungen (GG Art. 1–3) für Behörden. | |||
* '''Sektorale Vorgaben''': Verwaltungsrecht, hessische/länderspezifische Initiativen für öffentlichen Sektor. | |||
=== EU AI Act === | |||
Der EU AI Act klassifiziert KI-Systeme in vier Risikostufen: | |||
''' | * '''Unzulässig''' (z. B. Social Scoring, biometrische Echtzeit-Identifikation in öffentlichen Räumen) – Verbot ab Februar 2025. | ||
* '''Hochrisiko''' (z. B. HR, Kreditvergabe, kritische Infrastruktur) – Konformitätsbewertung, Dokumentationspflichten und menschliche Aufsicht ab 2026/2027. | |||
* '''Geringes Risiko''' – Transparenzpflichten (z. B. Chatbots). | |||
* '''GPAI (General Purpose AI)''' – Risikoanalyse und technische Dokumentation für Modelle wie GPT-Varianten. | |||
Bußgelder bis 35 Mio. € oder 7% Umsatz. Verantwortung liegt primär beim Provider, sekundär beim Deployer. | |||
''' | '''Weiterführende Informationen:''' | ||
* [[EU AI Act|Wiki: EU AI Act]] | |||
* [https://eur-lex.europa.eu/legal-content/DE/TXT/PDF/?uri=CELEX:32024R1689 EU AI Act Volltext] | |||
=== Nationale Regelungen === | |||
''' | * '''Deutschland''': Ergänzungen durch BDSG (§ 35 Automatisierte Entscheidungen im Einzelfall einschließlich Profiling), KI-Strategie der Bundesregierung (2020/aktualisiert 2025). Behörden müssen öffentlich-rechtliche Prinzipien (Rechtsstaatlichkeit, Verhältnismäßigkeit) wahren. | ||
* '''Länderspezifisch''': Hessische KI-Verordnung, bayrische Orientierungshilfen für öffentliche Verwaltung. | |||
* '''Sektoral''': Finanzsektor (BaFin-MaRisk), Gesundheitswesen (DiGA-Verordnung). | |||
''' | '''Weiterführende Informationen:''' | ||
* [https://www.bsi.bund.de/DE/Themen/Unternehmen-und-Organisationen/Informationen-und-Empfehlungen/Kuenstliche-Intelligenz/AIC4/aic4.html Kriterienkatalog für <abbr>KI</abbr>-Cloud-Dienste – <abbr>AIC4</abbr>] | |||
* [https://www.gesetze-im-internet.de/bdsg_2018/__37.html BDSG: §37 Automatisierte Entscheidungen im Einzelfall einschließlich Profiling] | |||
=== Übergangsregelungen und Neuklassifizierung === | |||
KI-Systeme müssen bei wesentlichen Änderungen neu klassifiziert werden. Bestehende Systeme bis 2027. | |||
== Datenschutzrechtliche Aspekte == | |||
=== DSGVO-Konformität === | |||
KI-Trainingsdaten unterliegen Art. 5 DSGVO (Rechtsmäßigkeit, Zweckbindung). Bei biometrischen Daten: Art. 10 KI-VO (Verbot biometrische Kategorisierung). Datenschutz-Folgenabschätzung (DSFA, Art. 35) obligatorisch für Hochrisiko-Anwendungen. | |||
'''Kernpflichten''' | |||
* | * '''Trainingsdaten''': Bereinigung sensibler Daten, Pseudonymisierung, Löschung nach Zweck (Art. 17). | ||
* | * '''Outputs''': Transparenz bei automatisierter Entscheidungsfindung (Art. 22), Recht auf Erklärung. | ||
* | * '''AVV (Auftragsverarbeitung)''': Cloud-KI-Provider als Auftragsverarbeiter prüfen. | ||
== | === Orientierungshilfen === | ||
* | * '''Datenschutzkonferenz (DSK)''': Leitfaden „Künstliche Intelligenz und Datenschutz“ – Checkliste für Datensparsamkeit und Rechenschaftspflicht. | ||
* | * '''BayLDA/LfDI''': Praktische Hinweise zu Shadow-KI und ChatGPT-Nutzung in Behörden. | ||
== | === Betroffenenrechte und Transparenz === | ||
Benutzende müssen über KI-Einsatz informiert werden (Art. 13/14). Erweiterte Informationspflichten bei GPAI: Modellkarte offenlegen. Bias-Tests dokumentieren, um Diskriminierungsverbot (Art. 21 GG) zu wahren. | |||
= | '''Praktische Umsetzung''' | ||
{| class="wikitable" | |||
!Aspekt | |||
!Maßnahme | |||
!Rechtsgrundlage | |||
|- | |||
|DSFA | |||
|Vor KI-Einsatz durchführen | |||
|Art. 35 DSGVO | |||
|- | |||
|Rechteauskunft | |||
|KI-spezifische Vorlage | |||
|Art. 15 DSGVO | |||
|- | |||
|Löschung | |||
|Trainingsdaten entfernen | |||
|Art. 17 DSGVO | |||
|} | |||
'''Weiterführende Informationen:''' | |||
* [https://www.datenschutzkonferenz-online.de/media/oh/DSK_OH_RAG.pdf DSK: Orientierungshilfe zu datenschutzrechtlichen Besonderheiten generativer KI-Systeme mit RAG-Methode] | |||
* [https://www.datenschutzkonferenz-online.de/media/oh/DSK-OH_KI-Systeme.pdf DSK: Orientierungshilfe zu empfohlenen technischen und organisatorischen Maßnahmen bei der Entwicklung und beim Betrieb von KI-Systemen] | |||
* [[KI Datenschutz|Wiki: Datenschutz in KI-Anwendungen.]] | |||
== Sicherheitsaspekte (ISMS-Integration) == | |||
KI-Einsatz erfordert eine Erweiterung des ISMS um spezifische Gefährdungen, die die CIA-Triade (Vertraulichkeit, Integrität, Verfügbarkeit) bedrohen und über den BSI IT-Grundschutz G0-Katalog hinausgehen. Nach BSI Standard 200-3 müssen diese in der Risikoanalyse bewertet und mit Maßnahmen aus ISO 27001 Anhang A (z. B. A.8.25 für sichere Entwicklung) kontrolliert werden. | |||
=== | === Gefährdungskatalog-Ergänzungen === | ||
KI- | KI-spezifische Risiken wie folgt klassifiziert (CIA-Analyse): | ||
* | * '''Prompt Injections''': Manipulation von Eingaben zu Large Language Models (hoch I/C). | ||
* | * '''Data Poisoning''': Vergiftung von Trainingsdaten (hoch I, mittel A). | ||
* | * '''Modelllecks''': Training Data Leakage oder IP-Exfiltration (hoch C). | ||
* '''Unkontrollierte Nutzung von Schatten-KI''': Unkontrollierte Nutzung privater Tools (mittel C/I). | |||
* '''Black-Box-Effekte''': Mangelnde Nachvollziehbarkeit (hoch I/A). | |||
=== | === ISMS-Maßnahmen und Standards === | ||
* '''BSI KI-Kriterienkatalog (2025)''': Sicherheitsniveaus (Low/Medium/High) für generative KI, mit Tests auf Jailbreaks und Bias. | |||
* '''ISO 27001 Anhang A''': A.8.25 Sichere Entwicklung, A.12.6 Vulnerability-Management. | |||
* '''Risikobewertung''': Erweiterte Gefährdungsanalyse nach BSI 200-3, inklusive Supply-Chain-Risiken bei Cloud-KI-Providern. | |||
'''Weiterführende Informationen:''' | |||
* [https://www.bsi.bund.de/SharedDocs/Downloads/DE/BSI/KI/Kriterienkatalog_KI-Modelle_Bundesverwaltung.html BSI KI-Kriterienkatalog 2025.] | |||
* [[Zusätzliche Gefährdungen|Wiki: Zusätzliche Gefährdungen (ergänzt und spezifische KI-Gefährdungen)]] | |||
* [[RiLi-KI-Einsatz|Wiki: Richtlinie für den sicheren Einsatz von Künstlicher Intelligenz (KI)]] | |||
* [[LF-KI-Sicherheit|Wiki: Leitfaden zur KI-Sicherheit]] | |||
* [[LF-KI-Chatbots|Wiki: Leitfaden für Mitarbeitende zur Nutzung von KI-Systemen.]] | |||
== Technische Aspekte == | |||
Technische Umsetzung von KI muss Robustheit, Nachvollziehbarkeit und Datensicherheit gewährleisten, um EU AI Act-Anforderungen (z. B. Art. 15 für Hochrisiko) und ISMS-Ziele zu erfüllen. Der Fokus liegt auf dem gesamten KI-Lebenszyklus. | |||
=== | === Implementierungsprinzipien === | ||
* | * '''Daten-Governance''': Saubere Trainingsdaten (Preprocessing, Anonymisierung), RAG (Retrieval-Augmented Generation) statt reinem Fine-Tuning zur Vermeidung von Halluzinationen. | ||
* | * '''Modellsicherheit''': Hardening-Techniken wie Adversarial Training, Modellkardinalität (Input/Output-Beschränkungen). | ||
* '''Nachvollziehbarkeit (XAI)''': SHAP für globale Feature-Importance, LIME für lokale Erklärungen einzelner Vorhersagen – essenziell für Art. 22 DSGVO. | |||
=== | === Lebenszyklus-Management === | ||
'''KI-System-Phasen und Sicherheitskontrollen''' | |||
{| class="wikitable" | |||
!Phase | |||
!Technische Maßnahmen | |||
!ISMS-Verknüpfung | |||
|- | |||
|Auswahl/Training | |||
|Datenvalidierung, Secure MPC | |||
|A.8.25 Entwicklung | |||
|- | |||
|Deployment | |||
|Sandboxing, Human-in-the-Loop | |||
|A.12.4 Monitoring | |||
|- | |||
|Betrieb | |||
|Continuous Model Monitoring (Drift/Bias) | |||
|A.12.6 Vulnerabilities | |||
|- | |||
|Decommissioning | |||
|Modelllöschung, Audit-Logs | |||
|A.18.1 Compliance | |||
|} | |||
=== Hochrisiko-Anwendungen === | |||
* '''Sektoren''': HR (Bias-Prüfung), Gesundheitswesen (FDA/DiGA-konform), kritische Infrastruktur (real-time Robustheit). | |||
* '''Technische Standards''': ONNX für Modell-Portabilität, TensorFlow Privacy für Federated Learning. | |||
'''Praktische Umsetzung''' | |||
* '''Tools''': MLflow für Lifecycle-Tracking, Adversarial Robustness Toolbox (ART) für Angriffstests. | |||
* '''Cloud-KI''': AWS SageMaker oder Azure ML mit integrierten Security-Features prüfen (AVV-pflichtig). | |||
'''Weiterführende Informationen:''' | |||
= | * [https://eur-lex.europa.eu/legal-content/DE/TXT/HTML/?uri=CELEX:32024R1689#art_11 EU AI Act Artikel 11 - Technische Dokumentation] | ||
* [https://eur-lex.europa.eu/legal-content/DE/TXT/HTML/?uri=CELEX:32024R1689#anx_IV EU AI Act Anhang IV - Technische Dokumentation] | |||
* [https://www.bsi.bund.de/DE/Service-Navi/Presse/Alle-Meldungen-News/Meldungen/Leitfaden_KI-Systeme_230124.html BSI Secure AI Guidelines.] | |||
* [[KI-Register|Wiki: KI-Register]] | |||
* [[KI Cybersicherheit|KI als Fluch und Segen in der Cybersicherheit.]] | |||
=== Verantwortlichkeiten === | == Governance und Organisation == | ||
Eine effektive KI-Governance stellt sicher, dass KI-Einsatz mit ISMS-Zielen (ISO 27001, BSI Grundschutz) übereinstimmt und EU AI Act-Anforderungen erfüllt. Sie umfasst organisatorische Strukturen, Prozesse und Verantwortlichkeiten, um Risiken wie Shadow-KI oder Bias zu minimieren. Die Geschäftsleitung trägt gemäß ISO 27001 Abschnitt 5.1 die oberste Verantwortung und muss KI-spezifische Richtlinien (A.5.1) etablieren. | |||
=== KI-Governancestruktur === | |||
* '''KI-Steuerungsgremium''': Interdisziplinäres Gremium (IT-Sicherheit, Datenschutzbeauftragte, Rechtsabteilung, Fachabteilungen) für Risikobewertungen, Modellfreigaben und Audits. Regelmäßige Meetings (vierteljährlich) zur Überprüfung von KI-Projekten. | |||
* '''Rollen und Verantwortlichkeiten''':<br> | |||
{| class="wikitable" | {| class="wikitable" | ||
!Rolle | !Rolle | ||
! | !Aufgaben | ||
!Rechtsgrundlage | |||
|- | |- | ||
| | |KI-Provider (extern) | ||
| | |Technische Dokumentation, Konformitätserklärung | ||
|EU AI Act Art. 13 | |||
|- | |- | ||
| | |KI-Deployer (intern) | ||
| | |Risikoanalyse, menschliche Aufsicht | ||
|EU AI Act Art. 29 | |||
|- | |- | ||
| | |Datenschutzbeauftragte | ||
| | |DSFA, Betroffenenrechte | ||
|DSGVO Art. 39 | |||
|- | |- | ||
| | |ISMS-Leitung | ||
| | |Integration in Risikomanagement | ||
|ISO 27001 A.5.1 | |||
|} | |} | ||
=== | * '''KI-Nutzungsrichtlinie''': Verbot privater KI-Tools (Shadow-KI), Pflicht zu genehmigten Modellen, Sanktionen bei Verstößen. Schulungspflicht für Mitarbeitende (KI-Literacy). | ||
=== Prozesse und Workflows === | |||
* '''Risikobewertungsvorlage''': Vorlage für neue KI-Projekte mit CIA-Analyse, EU AI Act-Risikostufe und DSFA-Trigger. Workflow: Antrag → Gremium → Freigabe → Monitoring. | |||
* '''Audit und Reporting''': Jährliche KI-Inventar (alle Systeme auflisten), Incident-Reporting für Bias-Vorfälle oder Modell-Drift. Integration in ISO 27001 Management Review (Abschnitt 9.3). | |||
* '''Schulungen''': Obligatorische Einstiegsschulung zu KI-Risiken (~2h), vertiefte für Entwickler (XAI, Secure Coding). Nachweis via LMS. | |||
=== Besonderheiten für Behörden === | |||
* '''Grundrechtsschutz''': Zusätzliche Prüfung auf Verhältnismäßigkeit (GG Art. 1–3), Transparenz gegenüber Bürger:innen. Beliehene Unternehmen (z. B. Zeugnisstellen) fallen unter öffentlich-rechtliche Standards. | |||
* '''Öffentliche Unternehmen''': Archivierungspflicht für KI-Entscheidungen. | |||
'''Praktische Umsetzung''' | |||
* '''Checkliste für KI-Projekte''': | |||
*# Risikostufe bestimmen, | |||
*# Provider prüfen, | |||
*# DSFA durchführen, | |||
*# Technische Dokumentation anlegen, | |||
*# Monitoring einrichten. | |||
* '''Vorlage''': KI-Risikobewertungstabelle (Excel) mit Spalten für Gefährdung, Wahrscheinlichkeit, Schaden, Maßnahmen. | |||
'''Weiterführende Informationen:''' | |||
* Wiki: ISMS-Organisation | |||
* ISO 27001:2022 Abschnitt 5 (Führung). | |||
== Weiterführende Quellen == | |||
== | === Primärquellen (Gesetze und Verordnungen) === | ||
* | * '''EU AI Act''': Volltext – Offizielle Übersetzung, Anhang mit Hochrisiko-Listen. | ||
* | * '''DSGVO''': Art. 22, 35 – Automatisierte Entscheidungen, DSFA. | ||
* | * '''BDSG''': § 35 – Automatisierte Entscheidungen im öffentlichen Recht. | ||
== | === Behörden und Standardisierungsgremien === | ||
* | * '''BSI''': | ||
** KI-Kriterienkatalog 2025 – Testszenarien für generative KI. | |||
** IT-Grundschutz Compendium – G0-Module. | |||
* '''Datenschutzkonferenz (DSK)''': Leitfaden KI und Datenschutz – Praktische Checkliste. | |||
* '''BayLDA''': KI & Datenschutz – Orientierung für Behörden. | |||
== | === Branchenverbände und Ratgeber === | ||
* '''IHK München''': Datenschutz & KI – Praktische Hinweise für KMU. | |||
* '''Bitkom''': KI-Guide für Unternehmen – Best Practices. | |||
* '''BaFin''': MaRisk für KI im Finanzsektor. | |||
=== | === Technische Ressourcen === | ||
* '''XAI-Tools''': SHAP-Dokumentation, LIME – Open Source für Erklärbarkeit. | |||
* '''Secure AI Frameworks''': Adversarial Robustness Toolbox – Tests auf Angriffe. | |||
=== Wiki-interne Verweise === | |||
* [[EU AI Act]] | |||
* [[KI Cybersicherheit]] | |||
* [[KI Datenschutz]] | |||
* [[KI-Nutzung]] | |||
* [[KI-Register]] | |||
* [[LF-KI-Chatbots]] | |||
* [[RiLi-KI-Einsatz]] | |||
* [[Zusätzliche Gefährdungen]] | |||
[[Kategorie:Artikel]] | |||
[[Kategorie: | |||
[[Kategorie:KI]] | [[Kategorie:KI]] | ||
Aktuelle Version vom 1. April 2026, 15:17 Uhr
KI-Einsatz in Unternehmen und Behörden: Rechtliche, datenschutzrechtliche, sicherheitstechnische Leitfäden für ISO 27001, EU AI Act, BSI IT-Grundschutz. Risiken, Governance, Maßnahmen.
Einleitung
Der Einsatz von Künstlicher Intelligenz (KI) in Unternehmen und Behörden gewinnt rasant an Bedeutung und stellt Informationssicherheits-Managementsysteme (ISMS) vor neue Herausforderungen. KI-Systeme verarbeiten oft personenbezogene Daten, treffen automatisierte Entscheidungen und erfordern eine nahtlose Integration in bestehende Standards wie ISO/IEC 27001 sowie BSI Grundschutz. Der EU AI Act (seit August 2024 rechtskräftig) etabliert einen risikobasierten Ansatz, der mit DSGVO und BDSG kompatibel ist und spezifische Anforderungen an Transparenz, Robustheit und Nachvollziehbarkeit stellt.
Für Behörden gelten zusätzlich öffentlich-rechtliche Bindungen (z.B. Grundrechte Art. 1–3 GG), während Unternehmen wirtschaftliche Risiken wie Vendor Lock-in oder Haftungsstreitigkeiten prüfen müssen. Dieser Artikel fasst rechtliche, datenschutzrechtliche, sicherheitstechnische und organisatorische Belange zusammen und verweist auf vertiefende Inhalte im Wiki sowie externe Quellen.
Relevanz für ISMS
KI-Einsatz beeinflusst die CIA-Triade (Vertraulichkeit, Integrität, Verfügbarkeit) und erfordert Ergänzungen der verwendeten Risikokataloge wie z.B. den BSI G0-Katalog. Ziel ist eine risikobasierte Implementierung des KI-Einsatzes.
Rechtlicher Rahmen
- EU AI Act: Risikobasierte Klassifikation (verboten, hochrisiko, geringes Risiko, GPAI). Zeitlicher Fahrplan (Verbote ab 2025, Hochrisiko ab 2026/2027). Anforderungen an Dokumentation, Konformität und Bußgelder.
- Nationale Regelungen: DSGVO-Integration (Art. 10 KI-VO für biometrische Daten), BDSG, öffentlich-rechtliche Sonderbindungen (GG Art. 1–3) für Behörden.
- Sektorale Vorgaben: Verwaltungsrecht, hessische/länderspezifische Initiativen für öffentlichen Sektor.
EU AI Act
Der EU AI Act klassifiziert KI-Systeme in vier Risikostufen:
- Unzulässig (z. B. Social Scoring, biometrische Echtzeit-Identifikation in öffentlichen Räumen) – Verbot ab Februar 2025.
- Hochrisiko (z. B. HR, Kreditvergabe, kritische Infrastruktur) – Konformitätsbewertung, Dokumentationspflichten und menschliche Aufsicht ab 2026/2027.
- Geringes Risiko – Transparenzpflichten (z. B. Chatbots).
- GPAI (General Purpose AI) – Risikoanalyse und technische Dokumentation für Modelle wie GPT-Varianten.
Bußgelder bis 35 Mio. € oder 7% Umsatz. Verantwortung liegt primär beim Provider, sekundär beim Deployer.
Weiterführende Informationen:
Nationale Regelungen
- Deutschland: Ergänzungen durch BDSG (§ 35 Automatisierte Entscheidungen im Einzelfall einschließlich Profiling), KI-Strategie der Bundesregierung (2020/aktualisiert 2025). Behörden müssen öffentlich-rechtliche Prinzipien (Rechtsstaatlichkeit, Verhältnismäßigkeit) wahren.
- Länderspezifisch: Hessische KI-Verordnung, bayrische Orientierungshilfen für öffentliche Verwaltung.
- Sektoral: Finanzsektor (BaFin-MaRisk), Gesundheitswesen (DiGA-Verordnung).
Weiterführende Informationen:
- Kriterienkatalog für KI-Cloud-Dienste – AIC4
- BDSG: §37 Automatisierte Entscheidungen im Einzelfall einschließlich Profiling
Übergangsregelungen und Neuklassifizierung
KI-Systeme müssen bei wesentlichen Änderungen neu klassifiziert werden. Bestehende Systeme bis 2027.
Datenschutzrechtliche Aspekte
DSGVO-Konformität
KI-Trainingsdaten unterliegen Art. 5 DSGVO (Rechtsmäßigkeit, Zweckbindung). Bei biometrischen Daten: Art. 10 KI-VO (Verbot biometrische Kategorisierung). Datenschutz-Folgenabschätzung (DSFA, Art. 35) obligatorisch für Hochrisiko-Anwendungen.
Kernpflichten
- Trainingsdaten: Bereinigung sensibler Daten, Pseudonymisierung, Löschung nach Zweck (Art. 17).
- Outputs: Transparenz bei automatisierter Entscheidungsfindung (Art. 22), Recht auf Erklärung.
- AVV (Auftragsverarbeitung): Cloud-KI-Provider als Auftragsverarbeiter prüfen.
Orientierungshilfen
- Datenschutzkonferenz (DSK): Leitfaden „Künstliche Intelligenz und Datenschutz“ – Checkliste für Datensparsamkeit und Rechenschaftspflicht.
- BayLDA/LfDI: Praktische Hinweise zu Shadow-KI und ChatGPT-Nutzung in Behörden.
Betroffenenrechte und Transparenz
Benutzende müssen über KI-Einsatz informiert werden (Art. 13/14). Erweiterte Informationspflichten bei GPAI: Modellkarte offenlegen. Bias-Tests dokumentieren, um Diskriminierungsverbot (Art. 21 GG) zu wahren.
Praktische Umsetzung
| Aspekt | Maßnahme | Rechtsgrundlage |
|---|---|---|
| DSFA | Vor KI-Einsatz durchführen | Art. 35 DSGVO |
| Rechteauskunft | KI-spezifische Vorlage | Art. 15 DSGVO |
| Löschung | Trainingsdaten entfernen | Art. 17 DSGVO |
Weiterführende Informationen:
- DSK: Orientierungshilfe zu datenschutzrechtlichen Besonderheiten generativer KI-Systeme mit RAG-Methode
- DSK: Orientierungshilfe zu empfohlenen technischen und organisatorischen Maßnahmen bei der Entwicklung und beim Betrieb von KI-Systemen
- Wiki: Datenschutz in KI-Anwendungen.
Sicherheitsaspekte (ISMS-Integration)
KI-Einsatz erfordert eine Erweiterung des ISMS um spezifische Gefährdungen, die die CIA-Triade (Vertraulichkeit, Integrität, Verfügbarkeit) bedrohen und über den BSI IT-Grundschutz G0-Katalog hinausgehen. Nach BSI Standard 200-3 müssen diese in der Risikoanalyse bewertet und mit Maßnahmen aus ISO 27001 Anhang A (z. B. A.8.25 für sichere Entwicklung) kontrolliert werden.
Gefährdungskatalog-Ergänzungen
KI-spezifische Risiken wie folgt klassifiziert (CIA-Analyse):
- Prompt Injections: Manipulation von Eingaben zu Large Language Models (hoch I/C).
- Data Poisoning: Vergiftung von Trainingsdaten (hoch I, mittel A).
- Modelllecks: Training Data Leakage oder IP-Exfiltration (hoch C).
- Unkontrollierte Nutzung von Schatten-KI: Unkontrollierte Nutzung privater Tools (mittel C/I).
- Black-Box-Effekte: Mangelnde Nachvollziehbarkeit (hoch I/A).
ISMS-Maßnahmen und Standards
- BSI KI-Kriterienkatalog (2025): Sicherheitsniveaus (Low/Medium/High) für generative KI, mit Tests auf Jailbreaks und Bias.
- ISO 27001 Anhang A: A.8.25 Sichere Entwicklung, A.12.6 Vulnerability-Management.
- Risikobewertung: Erweiterte Gefährdungsanalyse nach BSI 200-3, inklusive Supply-Chain-Risiken bei Cloud-KI-Providern.
Weiterführende Informationen:
- BSI KI-Kriterienkatalog 2025.
- Wiki: Zusätzliche Gefährdungen (ergänzt und spezifische KI-Gefährdungen)
- Wiki: Richtlinie für den sicheren Einsatz von Künstlicher Intelligenz (KI)
- Wiki: Leitfaden zur KI-Sicherheit
- Wiki: Leitfaden für Mitarbeitende zur Nutzung von KI-Systemen.
Technische Aspekte
Technische Umsetzung von KI muss Robustheit, Nachvollziehbarkeit und Datensicherheit gewährleisten, um EU AI Act-Anforderungen (z. B. Art. 15 für Hochrisiko) und ISMS-Ziele zu erfüllen. Der Fokus liegt auf dem gesamten KI-Lebenszyklus.
Implementierungsprinzipien
- Daten-Governance: Saubere Trainingsdaten (Preprocessing, Anonymisierung), RAG (Retrieval-Augmented Generation) statt reinem Fine-Tuning zur Vermeidung von Halluzinationen.
- Modellsicherheit: Hardening-Techniken wie Adversarial Training, Modellkardinalität (Input/Output-Beschränkungen).
- Nachvollziehbarkeit (XAI): SHAP für globale Feature-Importance, LIME für lokale Erklärungen einzelner Vorhersagen – essenziell für Art. 22 DSGVO.
Lebenszyklus-Management
KI-System-Phasen und Sicherheitskontrollen
| Phase | Technische Maßnahmen | ISMS-Verknüpfung |
|---|---|---|
| Auswahl/Training | Datenvalidierung, Secure MPC | A.8.25 Entwicklung |
| Deployment | Sandboxing, Human-in-the-Loop | A.12.4 Monitoring |
| Betrieb | Continuous Model Monitoring (Drift/Bias) | A.12.6 Vulnerabilities |
| Decommissioning | Modelllöschung, Audit-Logs | A.18.1 Compliance |
Hochrisiko-Anwendungen
- Sektoren: HR (Bias-Prüfung), Gesundheitswesen (FDA/DiGA-konform), kritische Infrastruktur (real-time Robustheit).
- Technische Standards: ONNX für Modell-Portabilität, TensorFlow Privacy für Federated Learning.
Praktische Umsetzung
- Tools: MLflow für Lifecycle-Tracking, Adversarial Robustness Toolbox (ART) für Angriffstests.
- Cloud-KI: AWS SageMaker oder Azure ML mit integrierten Security-Features prüfen (AVV-pflichtig).
Weiterführende Informationen:
- EU AI Act Artikel 11 - Technische Dokumentation
- EU AI Act Anhang IV - Technische Dokumentation
- BSI Secure AI Guidelines.
- Wiki: KI-Register
- KI als Fluch und Segen in der Cybersicherheit.
Governance und Organisation
Eine effektive KI-Governance stellt sicher, dass KI-Einsatz mit ISMS-Zielen (ISO 27001, BSI Grundschutz) übereinstimmt und EU AI Act-Anforderungen erfüllt. Sie umfasst organisatorische Strukturen, Prozesse und Verantwortlichkeiten, um Risiken wie Shadow-KI oder Bias zu minimieren. Die Geschäftsleitung trägt gemäß ISO 27001 Abschnitt 5.1 die oberste Verantwortung und muss KI-spezifische Richtlinien (A.5.1) etablieren.
KI-Governancestruktur
- KI-Steuerungsgremium: Interdisziplinäres Gremium (IT-Sicherheit, Datenschutzbeauftragte, Rechtsabteilung, Fachabteilungen) für Risikobewertungen, Modellfreigaben und Audits. Regelmäßige Meetings (vierteljährlich) zur Überprüfung von KI-Projekten.
- Rollen und Verantwortlichkeiten:
| Rolle | Aufgaben | Rechtsgrundlage |
|---|---|---|
| KI-Provider (extern) | Technische Dokumentation, Konformitätserklärung | EU AI Act Art. 13 |
| KI-Deployer (intern) | Risikoanalyse, menschliche Aufsicht | EU AI Act Art. 29 |
| Datenschutzbeauftragte | DSFA, Betroffenenrechte | DSGVO Art. 39 |
| ISMS-Leitung | Integration in Risikomanagement | ISO 27001 A.5.1 |
- KI-Nutzungsrichtlinie: Verbot privater KI-Tools (Shadow-KI), Pflicht zu genehmigten Modellen, Sanktionen bei Verstößen. Schulungspflicht für Mitarbeitende (KI-Literacy).
Prozesse und Workflows
- Risikobewertungsvorlage: Vorlage für neue KI-Projekte mit CIA-Analyse, EU AI Act-Risikostufe und DSFA-Trigger. Workflow: Antrag → Gremium → Freigabe → Monitoring.
- Audit und Reporting: Jährliche KI-Inventar (alle Systeme auflisten), Incident-Reporting für Bias-Vorfälle oder Modell-Drift. Integration in ISO 27001 Management Review (Abschnitt 9.3).
- Schulungen: Obligatorische Einstiegsschulung zu KI-Risiken (~2h), vertiefte für Entwickler (XAI, Secure Coding). Nachweis via LMS.
Besonderheiten für Behörden
- Grundrechtsschutz: Zusätzliche Prüfung auf Verhältnismäßigkeit (GG Art. 1–3), Transparenz gegenüber Bürger:innen. Beliehene Unternehmen (z. B. Zeugnisstellen) fallen unter öffentlich-rechtliche Standards.
- Öffentliche Unternehmen: Archivierungspflicht für KI-Entscheidungen.
Praktische Umsetzung
- Checkliste für KI-Projekte:
- Risikostufe bestimmen,
- Provider prüfen,
- DSFA durchführen,
- Technische Dokumentation anlegen,
- Monitoring einrichten.
- Vorlage: KI-Risikobewertungstabelle (Excel) mit Spalten für Gefährdung, Wahrscheinlichkeit, Schaden, Maßnahmen.
Weiterführende Informationen:
- Wiki: ISMS-Organisation
- ISO 27001:2022 Abschnitt 5 (Führung).
Weiterführende Quellen
Primärquellen (Gesetze und Verordnungen)
- EU AI Act: Volltext – Offizielle Übersetzung, Anhang mit Hochrisiko-Listen.
- DSGVO: Art. 22, 35 – Automatisierte Entscheidungen, DSFA.
- BDSG: § 35 – Automatisierte Entscheidungen im öffentlichen Recht.
Behörden und Standardisierungsgremien
- BSI:
- KI-Kriterienkatalog 2025 – Testszenarien für generative KI.
- IT-Grundschutz Compendium – G0-Module.
- Datenschutzkonferenz (DSK): Leitfaden KI und Datenschutz – Praktische Checkliste.
- BayLDA: KI & Datenschutz – Orientierung für Behörden.
Branchenverbände und Ratgeber
- IHK München: Datenschutz & KI – Praktische Hinweise für KMU.
- Bitkom: KI-Guide für Unternehmen – Best Practices.
- BaFin: MaRisk für KI im Finanzsektor.
Technische Ressourcen
- XAI-Tools: SHAP-Dokumentation, LIME – Open Source für Erklärbarkeit.
- Secure AI Frameworks: Adversarial Robustness Toolbox – Tests auf Angriffe.