Das Bundesamt für Sicherheit in der Informationstechnik (BSI) erläutert in der Cybersicherheitswarnung „Indirect Prompt Injections – Intrinsische Schwachstelle in anwendungsintegrierten KI-Sprachmodellen“ ein Sicherheitsrisiko beim Einsatz großer Sprachmodelle. Verarbeiten KI-Anwendungen Daten aus externen und nicht vollständig kontrollierbaren Quellen, können dort enthaltene Anweisungen das Verhalten des Sprachmodells beeinflussen.

Der Beitrag bietet damit eine fachliche Grundlage, um im Unterricht zu thematisieren, warum KI-Anwendungen nicht nur hinsichtlich der erzeugten Inhalte, sondern auch hinsichtlich ihrer technischen Einbindung und der verarbeiteten Daten betrachtet werden müssen.

Eine ausführlichere Beschreibung mit Zielgruppe, inhaltlicher Einordnung, Lizenzhinweisen und Bezügen zu den Hessischen Kerncurricula finden Sie unter dem Info-Symbol (ⓘ).

Zielgruppe

Lehrerinnen und Lehrer sowie Schülerinnen und Schüler der Sekundarstufe II und der beruflichen Bildung. Aufgrund der technischen Darstellung eignet sich der Beitrag für Schülerinnen und Schüler vor allem bei entsprechender unterrichtlicher Einbettung.

Einordnung

Indirect Prompt Injections entstehen, wenn manipulierte Daten aus externen Quellen von einem Sprachmodell verarbeitet und darin enthaltene Anweisungen vom System ausgeführt werden. Der Beitrag kann als Ausgangspunkt genutzt werden, um Sicherheitsrisiken anwendungsintegrierter Sprachmodelle und die Notwendigkeit technischer Begrenzungen und Kontrollmechanismen zu untersuchen.

Lizenzierung

Für den verlinkten Beitrag ist keine Creative-Commons-Lizenz ausgewiesen. Es gelten die Nutzungsbedingungen des Bundesamtes für Sicherheit in der Informationstechnik (BSI).

Bezüge zu den Hessischen Kerncurricula

• Gymnasiale Oberstufe – Informatik, Mensch und Gesellschaft (I5): Chancen und Risiken des Einsatzes von Informationstechnik bewerten und Informatiksysteme unter fachlichen und gesellschaftlichen Gesichtspunkten betrachten.
• Begründen und Bewerten (P5): Informatiksysteme unter fachlichen, ethischen und weiteren Gesichtspunkten bewerten und begründete Positionen entwickeln.
• Q2.4 Datenschutz und Datensicherheit: Anknüpfungspunkte ergeben sich insbesondere bei Fragen der Integrität von Daten und Systemen sowie der Sicherheit bei der Internetnutzung.

• Lehrkräfte

• Sekundarstufe II
• Berufliche Bildung

• Datensicherheit
• Cybersecurity
• KünstlicheIntelligenz
• Sprachmodelle
• Sekundarstufe_II
• Berufliche_Bildung
• KI_Sicherheit
• Prompt_Injection
• LLM