KI-Agenten können Aufgaben planen, auf andere Programme zugreifen und Handlungen ausführen. Welche Möglichkeiten sich daraus ergeben und welche Risiken damit verbunden sind, erläutert Benjamin Bechtloff vom Fraunhofer-Institut für Intelligente Analyse- und Informationssysteme im Podcast „Update verfügbar“ des Bundesamts für Sicherheit in der Informationstechnik (BSI).

An Beispielen aus dem Alltag wird deutlich, warum Zugriffsrechte begrenzt werden sollten und menschliche Kontrolle weiterhin notwendig ist.

Ausführliche Hinweise zu Zielgruppe, Inhalten, Lizenzierung und Bezügen zu den Hessischen Kerncurricula finden sich in der ausführlichen Beschreibung (ⓘ).

Zielgruppe

Lehrkräfte sowie Schülerinnen und Schüler der Sekundarstufe II. Ausgewählte Abschnitte können mit entsprechender Unterstützung auch in höheren Jahrgangsstufen der Sekundarstufe I eingesetzt werden.

Inhaltliche Schwerpunkte

• Funktionsweise und Einsatzmöglichkeiten von KI-Agenten
• Risiken durch weitreichende Zugriffsrechte und den Zugriff auf persönliche Daten
• Manipulation durch eingeschleuste Anweisungen (Prompt Injection)
• Begrenzung von Handlungsmöglichkeiten und Ausführung in abgeschirmten Umgebungen (Sandbox)
• Menschliche Prüfung und Freigabe von Handlungen mit Folgen außerhalb des KI-Systems, beispielsweise Buchungen und Zahlungen
• Mögliche Auswirkungen auf Arbeitswelt und Gesellschaft

Einordnung und Einsatz im Unterricht

Der Podcast bietet einen Einstieg in die Auseinandersetzung mit KI-Agenten und deren Sicherheit. An den Beispielen lässt sich diskutieren, welche Aufgaben an ein KI-System übertragen werden können, welche Berechtigungen dafür erforderlich sind und an welchen Stellen ein Mensch prüfen und entscheiden sollte.

Für einen gezielten Einsatz eignen sich insbesondere die Abschnitte ab etwa Minute 10 zu Zugriffsrechten und Sicherheitsrisiken, ab Minute 15 zur Verantwortung bei Buchungen und Zahlungen sowie ab Minute 25 zu Schutzmaßnahmen und menschlicher Kontrolle.

Die deutschsprachige Folge wurde am 29. Juli 2026 veröffentlicht und dauert rund 32 Minuten. Auf der Angebotsseite stehen die Audiodatei und ein Transkript bereit. Aussagen zu einzelnen Produkten und deren Leistungsfähigkeit beziehen sich auf den damaligen Stand.

Lizenzierung

Der Podcast kann kostenlos angehört und heruntergeladen werden. Die Bereitstellung zum Download ist keine allgemeine Freigabe zur Bearbeitung oder Weiterveröffentlichung. Es gelten die gesetzlichen Bestimmungen und gegebenenfalls ergänzende Nutzungsbedingungen des Anbieters.

Bezüge zu den Hessischen Kerncurricula

Für das Hessische Kerncurriculum Informatik der gymnasialen Oberstufe ergeben sich insbesondere folgende Bezüge:

• Informatik, Mensch und Gesellschaft (I5): Chancen und Risiken von KI-Agenten sowie mögliche Auswirkungen auf Alltag und Arbeitswelt beurteilen.
• Begründen und Bewerten (P5): Den Einsatz von KI-Systemen unter fachlichen und ethischen Gesichtspunkten bewerten und die Notwendigkeit menschlicher Kontrolle begründen.