Forschung und Entwicklung von Ansätzen hinsichtlich robustem und sicherem Machine Learning für sicherheits- und verteidigungsrelevante Einsatzsysteme (RSML)
Was wird versucht, zu machen?
Im Mittelpunkt des Vorhabens steht die Erforschung, Entwicklung und Anwendung neuartiger Ansätze zur Steigerung der Robustheit und Sicherheit neuronaler KI/ML-Ansätze im Kontext von Einsatzsystemen in den Domänen der inneren und äußeren Sicherheit. Bei den Forschungs- und Entwicklungstätigkeiten sollen sowohl konzeptionelle als auch modell- bzw. anwendungsbezogene Fragen adressiert werden. Ziele sind somit wissenschaftlicher und technologischer Fortschritt, um inhärente Sicherheitsprobleme von ML-Komponenten zu verbessern und diese auch im Rahmen beispielhafter funktionaler Demonstratoren oder Prototypen aufzubereiten. Darüber hinaus ist es erklärtes Ziel, die Bildung von Netzwerken zwischen Bedarfsträgern, Industrievertretern und Forschenden zu stimulieren und damit insgesamt zur Stärkung der digitalen Souveränität Deutschlands beizutragen.
Thematisch gliedert sich das Projekt in die Forschungsschwerpunkte:
- Automatisierte Absicherung der Datenqualität
- Hybride Modelle aus neuronalen und symbolischen KI-Systemen
- Formale Verifikation von ML-Modellen
- Sichere Systemeinbettung
- Verifikation über den gesamten Lebenszyklus
Wie wird es gemacht und was sind die Grenzen der aktuellen Praxis?
Das Projekt RSML ist als Forschungswettbewerb organisiert, an dem zum Beispiel Universitäten, Forschungseinrichtungen und Unternehmen teilnehmen können. Die Forschungsmittel werden durch die Cyberagentur in einem vorkommerziellen Wettbewerb in Anlehnung an das Pre-Commercial Procurement-Verfahren (PCP) verteilt. Dies ist ein durch die EU-Kommission entwickelter Ansatz für die Beschaffung von Forschungs- und Entwicklungsleistungen. Das PCP-Verfahren wird in verschiedene Phasen unterteilt. Zum Ende dieser Phasen findet eine Evaluation der Teilnehmer statt; nur die besten Teilnehmer erreichen die jeweils nächste Runde.
Die erste Phase dient der Konzeption des Forschungsvorhabens. In den weiteren Phasen werden die Daten-, Trainings- und Ausführungsabsicherung sowie die Ende-zu-Ende-Absicherung untersucht. Angesichts des hohen Entwicklungstempos im Bereich ML und der sich stetig verschiebenden Grenzen des Machbaren lag der Fokus bei der Entwicklung von KI-Lösungen bislang primär auf der Leistungsmaximierung und Modelloptimierung mit Blick auf die angestrebten Funktionalitäten (z.B. Klassifikationsoptimierung für treffsichere Bilderkennung und Regressionsoptimierung für eine korrekte Ereignisprognose). Andere Qualitätsmerkmale, darunter beweisbare Sicherheit und inhärente Robustheit zum Beispiel gegenüber adverseriellen Angriffen (z.B. zur Steigerung der allgemeinen Betriebssicherheit und Absicherung bei Verhalten in unbekannten Situationen), wurden oft hintenangestellt.
Was ist neu in dem Ansatz und warum wird er erfolgreich sein?
Es hat sich in den letzten Jahren herausgestellt, dass es im Kontext von KI und ML spezifische, neue Angriffsvektoren gibt, gegen die neuartige Methoden zur Absicherung entwickelt werden müssen. Das dargestellte Projekt beschäftigt sich mit der Absicherung von KI/ML-Systemen gegenüber derartigen neuartigen Bedrohungen.
Der Phasenaufbau des Wettbewerbs ermöglicht es, dass mehrere Teilnehmer Lösungen zu den benannten Forschungsfragen entwickeln und exemplarisch angewendet haben. Damit können parallel unterschiedliche Lösungsansätze verfolgt werden. Selbst wenn kein oder nicht jeder Ansatz bis zum Ende gelangt, so ist bis zu dem jeweiligen Quality Gate ein Innovationsimpuls gesetzt worden. Dadurch wird zudem ermöglicht, keine monopolistische Lösung, sondern ein Ökosystem aus mehreren Akteuren mit entsprechender Expertise zu fördern, die zueinander in einem Qualitätswettbewerb stehen und nachgelagert ggf. in Kooperation die Lösungsansätze weiterentwickeln („Coopetition“).
Wen wird es interessieren? Bei Erfolg gibt es welchen Unterschied?
Ziel der Cyberagentur ist es, auf diesem Weg innovative Technologien für die Bundesrepublik Deutschland und ihre Partner zu erwerben. Der Innovationswettbewerb soll sich explizit nicht nur an universitäre Forschung, sondern auch an außeruniversitäre Forschungsinstitute und Unternehmen (Industrie und Startups) richten. Die Begleitung über die einzelnen Phasen (Quality Gates) erfolgt gemeinsam mit vorab zu identifizierenden Experten und Expertinnen inkl. Bedarfsträgern.
Nur hochresiliente, robuste und garantiert sichere ML-Komponenten dürfen im hochsicherheits- und verteidigungsrelevanten Umfeld zum Einsatz kommen. Das Modellverhalten im Sinne gewünschter Outputs (Empfehlungen, Handlungen) muss sich innerhalb definierter Grenzen bewegen. Dies muss auch unter widrigen (schlechte Sichtverhältnisse, keine Konnektivität) und potentiell feindseligen (z.B. durch Beeinflussung mittels manipulierter Inputdaten) Bedingungen gewährleistet werden. Derartige Garantien sind auf formaler Ebene nach aktuellem Stand der Forschung nicht oder nur unzureichend realisiert.
Um in Zukunft diesen und weiteren, möglicherweise bislang unbekannten Bedrohungen und Angriffsvektoren auf ML-Anwendungen und -systeme zu begegnen, müssen neben Maßnahmen des KI-Risikomanagements und adverseriellen Trainings auf lange Sicht fundamentale Beiträge zur Schaffung und Verbesserung von ML-Security und -Robustheit als inhärente Qualitätsdimension erbracht werden. Ein beweisbar sicheres KI-System schafft damit die Grundvoraussetzungen für den Einsatz im hochsicherheits- und verteidigungsrelevanten Kontext.
Was sind die Risiken?
Das Forschungsprojekt ist aus wissenschaftlich-technologischer Perspektive als ambitioniert und wagnisbehaftet zu bewerten. Insbesondere ist unsicher, ob und bis zu welchem Grad die genannten Ziele – mithin Ansätze zur Lösung fundamentaler Security-Probleme von ML-Modellen – erreichbar sind.
Wie lange wird es dauern?
Die Projektlaufzeit von RSML beträgt insgesamt fünf Jahre. Aktuell wird die Ausschreibung des Projekts finalisiert. Die Veröffentlichung der Ausschreibung ist zum Beginn des zweien Quartals 2023 geplant, sodass eine Auswahl der Teilnehmer im zweiten und dritten Quartal 2023 erfolgen kann. Der Start des Wettbewerbs erfolgt entsprechend im dritten oder vierten Quartal 2023. Die Konzepterstellung (Phase 2) dauert ein halbes Jahr für die fünf besten Bieter. Anschließend werden für die Phasen 3-5 maximal drei Teilnehmer die Themen Absicherung von Daten, Training und Ausführung für jeweils ein Jahr bearbeiten dürfen. Die abschließende Phase 6 der exemplarischen Ende-zu-Ende-Verifizierung und Evaluation dauert für den verbliebenen letzten Teilnehmer dann noch einmal 18 Monate.
Was sind die Zwischen- und Finaltests, um den Erfolg zu messen?
Entlang festgelegter und vorher den Teilnehmern zur Verfügung gestellter Evaluationsschemata werden die Ergebnisse am Ende jeder Phase bewertet. Dies geschieht mithilfe einer Jury, die aus Mitgliedern der Cyberagentur und jeweils einem Vertreter vom Bundesamt für Sicherheit in der Informationstechnik (BSI) und dem Kommando Cyber- und Informationsraum der Bundeswehr besteht. In Phase 5 soll durch den letzten verbliebenen Teilnehmer anhand eines realen Einsatzsystems der inneren oder äußeren Sicherheit demonstriert und evaluiert werden, wie die entwickelten Ansätze entlang der gesamten ML-Prozesskette nachweisbar sicher angewendet werden können.
Abteilung und Referat
Schlüsseltechnologien; Sicherheit für und durch Künstliche Intelligenz