KI-Agenten sollen nicht nur Antworten erzeugen, sondern können selbstständig Aufgaben planen und Aktionen ausführen. Das Bundesamt für Sicherheit in der Informationstechnik (BSI) erläutert in dem Beitrag „KI-Agenten: Wenn Künstliche Intelligenz selbstständig handelt“, welche Sicherheitsrisiken damit verbunden sind.

Thematisiert werden unter anderem weitreichende Zugriffsrechte, Prompt Injections und der mögliche Missbrauch von KI-Agenten für Phishing und Betrug. Darüber hinaus gibt das BSI Hinweise, wie sich Risiken durch begrenzte Berechtigungen und menschliche Kontrolle reduzieren lassen.

Eine ausführlichere Beschreibung mit Zielgruppe, inhaltlicher Einordnung, Lizenzhinweisen und Bezügen zu den Hessischen Kerncurricula finden Sie unter dem Info-Symbol (ⓘ).

Zielgruppe

Lehrerinnen und Lehrer sowie Schülerinnen und Schüler der Sekundarstufe I und II und der beruflichen Bildung.

Einordnung

Der Beitrag kann als Arbeitsmaterial genutzt werden, um die mit zunehmend selbstständig handelnden KI-Systemen verbundenen Sicherheitsfragen zu thematisieren. Dabei können insbesondere die Vergabe von Zugriffsrechten, mögliche Angriffe auf KI-Agenten sowie die Notwendigkeit menschlicher Kontrolle betrachtet werden.

Lizenzierung

Für den Beitrag ist keine Creative-Commons-Lizenz ausgewiesen. Die Inhalte der BSI-Webseite unterliegen dem Urheberrecht.

Bezüge zu den Hessischen Kerncurricula

• Sekundarstufe I – Informatik, Mensch und Gesellschaft (I5): Risiken beim Einsatz von Informatiksystemen erkennen und bewerten sowie Maßnahmen zur Datensicherheit einordnen.
• Gymnasiale Oberstufe – Informatik, Mensch und Gesellschaft (I5): Chancen und Risiken des Einsatzes von Informationstechnik bewerten.
• Begründen und Bewerten (P5): Informatiksysteme unter fachlichen, ethischen und weiteren Gesichtspunkten bewerten.
• Q2.4 Datenschutz und Datensicherheit: Anknüpfungspunkte ergeben sich insbesondere bei Zugriffsberechtigungen sowie den Schutzzielen Vertraulichkeit, Integrität und Verfügbarkeit.

• Lehrkräfte

• Sekundarstufe I
• Sekundarstufe II
• Berufliche Bildung

• Datensicherheit
• Cybersecurity
• Informatiksysteme
• KünstlicheIntelligenz
• Sekundarstufe_I
• Sekundarstufe_II
• Berufliche_Bildung
• KI_Sicherheit
• KI_Agenten
• Prompt_Injection