- Status: Projektphase
Hintergrund
Mechanismen der neuronalen Künstlichen Intelligenz (z.B. Deep Learning) finden zunehmend Verbreitung in Anwendungen von Organisationen der inneren und äußeren Sicherheit, beispielsweise im Rahmen von drohnenbasierter Aufklärung, Detektion von Desinformation und taktischen Lagebild-Anwendungen. Parallel nimmt das Wissen um spezifische Verwundbarkeiten zu, die speziell bei Maschinellem Lernen (ML) und zusätzlich zu klassischen IT-Schwachstellen auftreten (z.B. „vergiftete“ Daten, erzwungene Fehlklassifikation, indirekte Befehlsausführung in großen Sprachmodellen, gezielte Extraktion von Trainingsdaten). Im Status quo gibt es keine Garantien, dass KI-spezifische Angriffsvektoren im Rahmen von hochsicherheitsrelevanten KI-Anwendungen nicht auch ausgenutzt werden könnten.
Zielstellung
Ziel des Vorhabens ist die Erforschung und Unterstützung der Entwicklung hochresilienter, robuster und nachweisbar sicherer ML-Komponenten im sicherheitsrelevanten Umfeld. Im Rahmen der betrachteten KI-Anwendungen muss sich das Modell- und Systemverhalten im Sinne gewünschter Outputs (Vorhersagen, Empfehlungen, Handlungen) innerhalb definierter Grenzen auch unter widrigen und potenziell feindseligen Bedingungen bewegen (z.B. bei schlechten Sichtverhältnissen, keine Konnektivität). Beteiligte Forschungsverbünde können ihre Robustheits- und Sicherheitsansätze für ein breites Spektrum potenzieller ML-Anwendungen mit Relevanz für die Bedarfsträger der Inneren und Äußeren Sicherheit entwickeln.
Thematisch gliedert sich das Programm in die Forschungsschwerpunkte:
- Verifikation über den gesamten Lebenszyklus
- Automatisierte Absicherung der Datenqualität
- Hybride Modelle aus neuronalen und symbolischen KI-Systemen
- Formale Verifikation von ML-Modellen
- Sichere Systemeinbettung
Disruptive Risikoforschung
Verhaltensnachweise für ML-Modelle und -Systeme, einschließlich wünschenswerter Sicherheits- und Robustheitseigenschaften, sind auf formaler Ebene nach aktuellem Stand der Forschung nicht oder nur unzureichend realisiert. Um in Zukunft allen – einschließlich bislang unbekannten – Bedrohungen und Angriffsvektoren zu begegnen, müssen neben Maßnahmen des KI-Risikomanagements und adverseriellen Trainings auf lange Sicht fundamentale Beiträge zur Schaffung und Verbesserung von ML-Security und -Robustheit als inhärenter Qualitätsdimension erbracht werden. Ein beweisbar sicheres KI-System schafft damit die Grundvoraussetzungen für den Einsatz im hochsicherheits- und verteidigungsrelevanten Kontext. Im Status quo ist es jedoch unsicher, ob und bis zu welchem Grad die angestrebten Ziele – mithin Ansätze zur Lösung fundamentaler Security-Probleme von ML-Modellen – überhaupt erreichbar sind.