RiLi-KI-Einsatz: Unterschied zwischen den Versionen

Aus ISMS-Ratgeber WiKi
Zur Navigation springenZur Suche springen
KKeine Bearbeitungszusammenfassung
KKeine Bearbeitungszusammenfassung
Zeile 10: Zeile 10:


== 1. Einleitung ==
== 1. Einleitung ==
Künstliche Intelligenz (KI) bietet der Organisation erhebliche Chancen zur Effizienzsteigerung, Innovation und Verbesserung von Dienstleistungen. Um die mit dem Einsatz von KI verbundenen Risiken zu minimieren und die Einhaltung relevanter Gesetze und Vorschriften zu gewährleisten, legt diese Richtlinie verbindliche Standards und Verfahren für den sicheren und verantwortungsvollen Einsatz von KI-Systemen fest.
Künstliche Intelligenz (KI) bietet der Organisation erhebliche Chancen zur Effizienzsteigerung, Innovation und Verbesserung von Dienstleistungen. Angesichts der rasanten Entwicklung von KI-Technologien und der damit verbundenen Risiken ist es unerlässlich, klare Richtlinien für den sicheren und verantwortungsvollen Einsatz von KI-Systemen festzulegen.
 
Diese Richtlinie soll einen Rahmen schaffen, um die Vorteile von KI zu nutzen und gleichzeitig potenzielle Risiken zu minimieren und die Einhaltung relevanter Gesetze und Vorschriften zu gewährleisten, einschließlich der EU-KI-Verordnung.


== Geltungsbereich ==
== Geltungsbereich ==
Zeile 25: Zeile 27:
* Die Integration von Sicherheitsaspekten in den gesamten Lebenszyklus von KI-Systemen zu gewährleisten.
* Die Integration von Sicherheitsaspekten in den gesamten Lebenszyklus von KI-Systemen zu gewährleisten.
* Risiken im Zusammenhang mit KI-Technologien zu identifizieren, zu bewerten und zu minimieren.
* Risiken im Zusammenhang mit KI-Technologien zu identifizieren, zu bewerten und zu minimieren.
* Die Einhaltung von Datenschutzbestimmungen, ethischen Grundsätzen und relevanten Gesetzen sicherzustellen.
* Die Einhaltung von Datenschutzbestimmungen, ethischen Grundsätzen und relevanten Gesetzen, einschließlich der EU-KI-Verordnung, sicherzustellen.
* Transparenz und Verantwortlichkeit im Umgang mit KI-Systemen zu fördern.
* Transparenz und Verantwortlichkeit im Umgang mit KI-Systemen zu fördern.
* Das Bewusstsein für die potenziellen Risiken und Chancen von KI bei den Mitarbeitenden zu schärfen.
* Das Bewusstsein für die potenziellen Risiken und Chancen von KI bei den Mitarbeitenden zu schärfen.
* Innovation und Wettbewerbsfähigkeit im Einklang mit ethischen Grundsätzen und regulatorischen Anforderungen zu fördern.


== Verantwortlichkeiten ==
== Verantwortlichkeiten ==
Zeile 37: Zeile 40:


== Richtlinien und Verfahren ==
== Richtlinien und Verfahren ==
Der sichere und verantwortungsvolle Einsatz von KI-Systemen erfordert einen ganzheitlichen Ansatz, der technische, organisatorische und ethische Aspekte berücksichtigt. Die folgenden Richtlinien und Verfahren bilden das Fundament für eine robuste KI-Governance in unserer Organisation.
Sie adressieren die Integration von KI-Sicherheit in bestehende Strukturen, die systematische Risikobewertung, die Einhaltung rechtlicher und ethischer Standards sowie die Gewährleistung von Transparenz und Verantwortlichkeit.
Diese Maßnahmen sollen sicherstellen, dass wir die Chancen der KI-Technologie nutzen können, während wir gleichzeitig potenzielle Risiken minimieren und das Vertrauen unserer Stakeholder in unsere KI-Anwendungen stärken.


=== Integration von KI-Sicherheit in das ISMS ===
=== Integration von KI-Sicherheit in das ISMS ===
* KI-Systeme sind als Teil des Informationssicherheitsmanagementsystems (ISMS) der Organisation zu betrachten.
KI-Systeme stellen durch ihre Komplexität und Lernfähigkeit einzigartige Sicherheitsherausforderungen dar. Um diese systematisch zu adressieren, werden KI-Komponenten vollständig in das ISMS integriert. Dies bedeutet konkret:
* Geeignete Sicherheitsmaßnahmen sind zu implementieren, um die Vertraulichkeit, Integrität und Verfügbarkeit von KI-Systemen und den darin verarbeiteten Daten zu gewährleisten.
 
* Dies umfasst insbesondere Maßnahmen zum Schutz vor Angriffen wie Prompt Injection, Modellmanipulation und Datendiebstahl.
* Alle KI-Systeme unterliegen den allgemeinen Sicherheitsrichtlinien der Organisation.
* Für den Einsatz von Large Language Models (LLMs) sind spezifische Sicherheitsmaßnahmen zu implementieren, um Risiken wie die Generierung von Fehlinformationen, die Offenlegung sensibler Daten und die Beeinflussung des Modellverhaltens zu minimieren.
* Spezifische Schutzmaßnahmen gegen KI-spezifische Angriffsvektoren wie Prompt-Injection sind zu implementieren, da ungefilterte Eingaben zu manipulierten Ergebnissen oder Datenlecks führen können.
* Für LLMs (Large Language Models) sind zusätzliche Content-Filter und Input-Validierungen vorzusehen, um die Generierung von Fehlinformationen oder urheberrechtlich problematischen Inhalten zu verhindern.


=== Risikobewertung von KI-Systemen ===
=== Risikobewertung von KI-Systemen ===
* Vor der Implementierung oder Nutzung eines KI-Systems ist eine Risikobewertung durchzuführen, um potenzielle Risiken zu identifizieren und zu bewerten.
Aufgrund der dynamischen Entwicklungen im KI-Bereich erfordert jede KI-Anwendung eine initiale und jährliche Risikoanalyse. Dieser Prozess dient dazu:
* Die Risikobewertung muss die folgenden Aspekte berücksichtigen:
 
** Datenschutzrisiken (z.B. unbefugte Offenlegung personenbezogener Daten)
* Kritische Einsatzbereiche (z.B. personalisierte Kundeninteraktionen) zu identifizieren, wo Fehlentscheidungen rechtliche oder reputative Schäden verursachen könnten.
** Sicherheitsrisiken (z.B. Manipulation des KI-Systems durch Angreifer)
* Technische Risiken wie Modell-Drift (unbemerkte Leistungsverschlechterung) zu berücksichtigen, die durch kontinuierliches Monitoring aufgefangen werden müssen.
** Ethische Risiken (z.B. Diskriminierung, Voreingenommenheit)
* Ethische Risikofaktoren (Bias in Trainingsdaten) zu analysieren, die etwa zu diskriminierenden Entscheidungen führen könnten – ein Aspekt, der zentral für die Akzeptanz von KI-Systemen ist.
** Betriebliche Risiken (z.B. Ausfall des KI-Systems)
 
** Compliance-Risiken (z.B. Nichteinhaltung gesetzlicher Vorschriften)
=== Compliance-konformer KI-Einsatz ===
* Basierend auf der Risikobewertung sind geeignete Maßnahmen zur Risikominimierung zu implementieren.
Die EU-KI-Verordnung klassifiziert KI-Systeme in vier Risikoklassen – diese Einstufung bildet die Basis für unsere Compliance-Maßnahmen:


=== Compliance-Konformer Einsatz von KI-Systemen ===
* Hochrisiko-KI-Systeme (z.B. CV-Screening-Tools) erfordern eine Konformitätserklärung, technische Dokumentation und menschliche Aufsichtspflicht.
* Beim Einsatz von KI-Systemen sind alle relevanten Gesetze und Vorschriften einzuhalten, insbesondere die Datenschutz-Grundverordnung (DSGVO), das Bundesdatenschutzgesetz (BDSG) und das Urheberrecht.
* Transparenzpflichten gemäß Art. 52 AI Act: Bei KI-gesteuerten Chatbots muss für Nutzende klar erkennbar sein, dass sie mit einem KI-System interagieren.
* Es ist sicherzustellen, dass die Datennutzungsketten von KI-Systemen transparent und nachvollziehbar sind.
* Datenherkunftsnachweise sind für Trainingsdatensätze zu führen, um Urheberrechtsverletzungen und Compliance-Risiken bei generativer KI (z.B. Text-/Bildgenerierung) zu minimieren.
* Personenbezogene Daten dürfen nur im Einklang mit den datenschutzrechtlichen Bestimmungen verarbeitet werden.
* Bei der Entwicklung und Nutzung von KI-Systemen sind ethische Grundsätze zu berücksichtigen, insbesondere die Vermeidung von Diskriminierung und Voreingenommenheit.
* Die Ergebnisse und Entscheidungen von KI-Systemen müssen nachvollziehbar und überprüfbar sein.
* Es ist sicherzustellen, dass die Urheberrechte an den von KI-Systemen generierten Inhalten eingehalten werden.


=== Datensicherheit und Datenschutz ===
=== Datensicherheit und Datenschutz ===
* Die für das Training und den Betrieb von KI-Systemen verwendeten Daten sind angemessen zu schützen.
KI-Systeme sind datenhungrig – dieser Abschnitt stellt sicher, dass Datenflüsse rechtssicher gestaltet werden:
* Es sind Maßnahmen zu implementieren, um die Vertraulichkeit, Integrität und Verfügbarkeit der Daten zu gewährleisten.
 
* Personenbezogene Daten sind zu pseudonymisieren oder zu anonymisieren, sofern dies möglich ist.
* Bei der Verarbeitung personenbezogener Daten ist das Prinzip "Privacy by Design" umzusetzen, z.B. durch Synthetic Data Generation oder Differential Privacy bei sensiblen Datensätzen.
* Es ist sicherzustellen, dass die Daten nur für den vorgesehenen Zweck verwendet werden.
* Datenminimierung ist besonders kritisch: Trainingsdatensätze dürfen nur notwendige Attribute enthalten, um das "Overfitting"-Risiko (unbeabsichtigtes Speichern sensitiver Muster) zu reduzieren.
* Die Aufbewahrungsfristen für die Daten sind einzuhalten.
 
=== Transparenz und Rechenschaftspflicht ===
Nachvollziehbarkeit ist Voraussetzung für Vertrauen in KI-Entscheidungen. Hierfür wird festgelegt:
 
* Entscheidungsprotokolle müssen so dokumentiert werden, dass eine Nachvollziehbarkeit ohne Fachwissen in Machine Learning möglich ist (Explainable AI-Prinzipien).
* Eine Eskalationsmatrix definiert Verantwortlichkeiten – z.B. ob der KI-Entwickler, Fachbereich oder die Geschäftsführung bei Fehlentscheidungen haftet.
 
=== Ethische Leitplanken und Innovation ===
Um Innovationspotenziale verantwortungsvoll zu nutzen, gilt:


=== Transparenz und Verantwortlichkeit ===
* Ethische Review-Boards begleiten KI-Projekte ab der Konzeptphase, analog zu Medizintechnik-Entwicklungen.
* Der Einsatz von KI-Systemen ist transparent zu kommunizieren.
* Open-Source-KI-Komponenten sind generell zu bevorzugen, sofern sie Sicherheitsanforderungen erfüllen – dies fördert Reproduzierbarkeit und unabhängige Sicherheitsaudits.
* Die Funktionsweise von KI-Systemen ist zu dokumentieren.
* Es ist klar zu definieren, wer für die Entscheidungen und Ergebnisse von KI-Systemen verantwortlich ist.
* Es ist sicherzustellen, dass Mitarbeitende über die Risiken und Chancen von KI informiert und geschult werden.


== Schulung und Sensibilisierung ==
== Schulung und Sensibilisierung ==
* Alle Mitarbeitenden, die mit KI-Systemen arbeiten, sind regelmäßig zu schulen und zu sensibilisieren.
KI-Kompetenz ist kein IT-Spezialthema mehr. Unser Schulungskonzept umfasst daher:
* Die Schulungen müssen die folgenden Themen abdecken:
 
** Grundlagen der KI-Sicherheit
* Pflichttrainings für Führungskräfte zur Risikoeinschätzung von KI-Projekten (Analog: DSGVO-Schulungen).
** Datenschutzbestimmungen
* Praxisworkshops für Entwicklerteams zu Secure-Coding-Praktiken für KI-Modelle, inklusive OWASP-Top-10 für Machine Learning.
** Ethische Aspekte des KI-Einsatzes
* Awareness-Kampagnen für alle Mitarbeitenden zur Erkennung von Deepfakes und KI-generierten Phishing-Angriffen.
** Verantwortungsvoller Umgang mit KI-Systemen
 
** Meldung von Sicherheitsvorfällen
== Überwachung und kontinuierliche Verbesserung ==
KI-Systeme sind keine "Fire-and-Forget"-Lösungen. Unser Kontrollsystem sieht vor:


== Überwachung und Kontrolle ==
* Quartalsweise Performance-Audits mit Bias-Checks mittels Tools wie z.B. IBM AI Fairness 360.
* Die Einhaltung dieser Richtlinie ist regelmäßig zu überwachen und zu kontrollieren.
* Einrichtung eines KI-Registers zur Dokumentation aller produktiven KI-Anwendungen inkl. ihrer Risikoklassifizierung.
* Es sind interne Audits durchzuführen, um die Wirksamkeit der implementierten Maßnahmen zu überprüfen.
* Bug-Bounty-Programme, die explizit Schwachstellen in KI-Komponenten adressieren.
* Sicherheitsvorfälle im Zusammenhang mit KI-Systemen sind unverzüglich zu melden und zu untersuchen.


== Schlussbemerkung ==
== Schlussbemerkung ==

Version vom 22. März 2025, 14:22 Uhr

Under construction icon-blue.png Diese Seite ist derzeit noch ein Entwurf.

Weitere Informationen sowie Diskussionen über Änderungen an diesem Entwurf gibt es evtl. auf der Diskussion-Seite.


Mustervorlage: "Richtlinie für den sicheren Einsatz von Künstlicher Intelligenz (KI)"

Muster-Richtlinie für den sicheren Einsatz von KI in der Organisation. Diese Richtlinie hilft die Vorteile von KI zu nutzen und dabei Risiken zu minimieren und Compliance sicherzustellen.

1. Einleitung

Künstliche Intelligenz (KI) bietet der Organisation erhebliche Chancen zur Effizienzsteigerung, Innovation und Verbesserung von Dienstleistungen. Angesichts der rasanten Entwicklung von KI-Technologien und der damit verbundenen Risiken ist es unerlässlich, klare Richtlinien für den sicheren und verantwortungsvollen Einsatz von KI-Systemen festzulegen.

Diese Richtlinie soll einen Rahmen schaffen, um die Vorteile von KI zu nutzen und gleichzeitig potenzielle Risiken zu minimieren und die Einhaltung relevanter Gesetze und Vorschriften zu gewährleisten, einschließlich der EU-KI-Verordnung.

Geltungsbereich

Diese Richtlinie gilt für alle Mitarbeitenden, Auftragnehmenden und Dritte, die KI-Systeme im Auftrag der Organisation entwickeln, implementieren, nutzen oder verwalten. Sie umfasst alle Arten von KI-Systemen, einschließlich, aber nicht beschränkt auf:

  • Generative KI (z.B. Large Language Models – LLMs)
  • Maschinelles Lernen (ML)
  • Robotik
  • Künstliche neuronale Netze

Zielsetzung

Diese Richtlinie zielt darauf ab:

  • Die Integration von Sicherheitsaspekten in den gesamten Lebenszyklus von KI-Systemen zu gewährleisten.
  • Risiken im Zusammenhang mit KI-Technologien zu identifizieren, zu bewerten und zu minimieren.
  • Die Einhaltung von Datenschutzbestimmungen, ethischen Grundsätzen und relevanten Gesetzen, einschließlich der EU-KI-Verordnung, sicherzustellen.
  • Transparenz und Verantwortlichkeit im Umgang mit KI-Systemen zu fördern.
  • Das Bewusstsein für die potenziellen Risiken und Chancen von KI bei den Mitarbeitenden zu schärfen.
  • Innovation und Wettbewerbsfähigkeit im Einklang mit ethischen Grundsätzen und regulatorischen Anforderungen zu fördern.

Verantwortlichkeiten

  • Organisationsleitung: Verantwortlich für die Genehmigung dieser Richtlinie und die Bereitstellung der notwendigen Ressourcen für deren Umsetzung.
  • Informationssicherheitsbeauftragte (ISB): Verantwortlich für die Überwachung der Einhaltung dieser Richtlinie und die Integration von KI-Sicherheit in das ISMS.
  • Datenschutzbeauftragte (DSB): Verantwortlich für die Überwachung der Einhaltung der Datenschutzbestimmungen im Zusammenhang mit KI-Systemen.
  • KI-Projektverantwortliche: Verantwortlich für die Einhaltung dieser Richtlinie bei der Entwicklung, Implementierung und Nutzung von KI-Systemen in ihren Projekten.
  • Alle Mitarbeitenden: Verantwortlich für die Einhaltung dieser Richtlinie bei der Nutzung von KI-Systemen im Rahmen ihrer Tätigkeit für die Organisation.

Richtlinien und Verfahren

Der sichere und verantwortungsvolle Einsatz von KI-Systemen erfordert einen ganzheitlichen Ansatz, der technische, organisatorische und ethische Aspekte berücksichtigt. Die folgenden Richtlinien und Verfahren bilden das Fundament für eine robuste KI-Governance in unserer Organisation.

Sie adressieren die Integration von KI-Sicherheit in bestehende Strukturen, die systematische Risikobewertung, die Einhaltung rechtlicher und ethischer Standards sowie die Gewährleistung von Transparenz und Verantwortlichkeit.

Diese Maßnahmen sollen sicherstellen, dass wir die Chancen der KI-Technologie nutzen können, während wir gleichzeitig potenzielle Risiken minimieren und das Vertrauen unserer Stakeholder in unsere KI-Anwendungen stärken.

Integration von KI-Sicherheit in das ISMS

KI-Systeme stellen durch ihre Komplexität und Lernfähigkeit einzigartige Sicherheitsherausforderungen dar. Um diese systematisch zu adressieren, werden KI-Komponenten vollständig in das ISMS integriert. Dies bedeutet konkret:

  • Alle KI-Systeme unterliegen den allgemeinen Sicherheitsrichtlinien der Organisation.
  • Spezifische Schutzmaßnahmen gegen KI-spezifische Angriffsvektoren wie Prompt-Injection sind zu implementieren, da ungefilterte Eingaben zu manipulierten Ergebnissen oder Datenlecks führen können.
  • Für LLMs (Large Language Models) sind zusätzliche Content-Filter und Input-Validierungen vorzusehen, um die Generierung von Fehlinformationen oder urheberrechtlich problematischen Inhalten zu verhindern.

Risikobewertung von KI-Systemen

Aufgrund der dynamischen Entwicklungen im KI-Bereich erfordert jede KI-Anwendung eine initiale und jährliche Risikoanalyse. Dieser Prozess dient dazu:

  • Kritische Einsatzbereiche (z.B. personalisierte Kundeninteraktionen) zu identifizieren, wo Fehlentscheidungen rechtliche oder reputative Schäden verursachen könnten.
  • Technische Risiken wie Modell-Drift (unbemerkte Leistungsverschlechterung) zu berücksichtigen, die durch kontinuierliches Monitoring aufgefangen werden müssen.
  • Ethische Risikofaktoren (Bias in Trainingsdaten) zu analysieren, die etwa zu diskriminierenden Entscheidungen führen könnten – ein Aspekt, der zentral für die Akzeptanz von KI-Systemen ist.

Compliance-konformer KI-Einsatz

Die EU-KI-Verordnung klassifiziert KI-Systeme in vier Risikoklassen – diese Einstufung bildet die Basis für unsere Compliance-Maßnahmen:

  • Hochrisiko-KI-Systeme (z.B. CV-Screening-Tools) erfordern eine Konformitätserklärung, technische Dokumentation und menschliche Aufsichtspflicht.
  • Transparenzpflichten gemäß Art. 52 AI Act: Bei KI-gesteuerten Chatbots muss für Nutzende klar erkennbar sein, dass sie mit einem KI-System interagieren.
  • Datenherkunftsnachweise sind für Trainingsdatensätze zu führen, um Urheberrechtsverletzungen und Compliance-Risiken bei generativer KI (z.B. Text-/Bildgenerierung) zu minimieren.

Datensicherheit und Datenschutz

KI-Systeme sind datenhungrig – dieser Abschnitt stellt sicher, dass Datenflüsse rechtssicher gestaltet werden:

  • Bei der Verarbeitung personenbezogener Daten ist das Prinzip "Privacy by Design" umzusetzen, z.B. durch Synthetic Data Generation oder Differential Privacy bei sensiblen Datensätzen.
  • Datenminimierung ist besonders kritisch: Trainingsdatensätze dürfen nur notwendige Attribute enthalten, um das "Overfitting"-Risiko (unbeabsichtigtes Speichern sensitiver Muster) zu reduzieren.

Transparenz und Rechenschaftspflicht

Nachvollziehbarkeit ist Voraussetzung für Vertrauen in KI-Entscheidungen. Hierfür wird festgelegt:

  • Entscheidungsprotokolle müssen so dokumentiert werden, dass eine Nachvollziehbarkeit ohne Fachwissen in Machine Learning möglich ist (Explainable AI-Prinzipien).
  • Eine Eskalationsmatrix definiert Verantwortlichkeiten – z.B. ob der KI-Entwickler, Fachbereich oder die Geschäftsführung bei Fehlentscheidungen haftet.

Ethische Leitplanken und Innovation

Um Innovationspotenziale verantwortungsvoll zu nutzen, gilt:

  • Ethische Review-Boards begleiten KI-Projekte ab der Konzeptphase, analog zu Medizintechnik-Entwicklungen.
  • Open-Source-KI-Komponenten sind generell zu bevorzugen, sofern sie Sicherheitsanforderungen erfüllen – dies fördert Reproduzierbarkeit und unabhängige Sicherheitsaudits.

Schulung und Sensibilisierung

KI-Kompetenz ist kein IT-Spezialthema mehr. Unser Schulungskonzept umfasst daher:

  • Pflichttrainings für Führungskräfte zur Risikoeinschätzung von KI-Projekten (Analog: DSGVO-Schulungen).
  • Praxisworkshops für Entwicklerteams zu Secure-Coding-Praktiken für KI-Modelle, inklusive OWASP-Top-10 für Machine Learning.
  • Awareness-Kampagnen für alle Mitarbeitenden zur Erkennung von Deepfakes und KI-generierten Phishing-Angriffen.

Überwachung und kontinuierliche Verbesserung

KI-Systeme sind keine "Fire-and-Forget"-Lösungen. Unser Kontrollsystem sieht vor:

  • Quartalsweise Performance-Audits mit Bias-Checks mittels Tools wie z.B. IBM AI Fairness 360.
  • Einrichtung eines KI-Registers zur Dokumentation aller produktiven KI-Anwendungen inkl. ihrer Risikoklassifizierung.
  • Bug-Bounty-Programme, die explizit Schwachstellen in KI-Komponenten adressieren.

Schlussbemerkung

Behandlung von Ausnahmen

Ausnahmen von den Regelungen dieser Richtlinie sind nur mit einem begründeten Ausnahmeantrag im Rahmen des Ausnahmemanagements möglich.

Revision

Diese Richtlinie wird regelmäßig, jedoch mindestens einmal pro Jahr, durch den Regelungsverantwortlichen auf Aktualität und Konformität geprüft und bei Bedarf angepasst.

Inkrafttreten

Diese Richtlinie tritt zum 01.01.2222 in Kraft.

Freigegeben durch: Organisationsleitung

Ort, 01.12.2220,

Unterschrift, Name der Leitung