Der Einsatz von KI in fliegenden Waffensystemen eröffnet neue technische Möglichkeiten, bringt aber zugleich eine zusätzliche Dimension der Systembewertung mit sich. Neben der technischen und juristischen Zuverlässigkeit muss nach Gollnick auch die ethische Zuverlässigkeit berücksichtigt werden. Relevant ist dabei nicht nur, welcher Algorithmus eingesetzt wird, sondern auf welcher Systemebene und an welcher Stelle der funktionalen Kette er eingreift und ob er den Menschen lediglich unterstützt oder ihm Entscheidungen teilweise abgenommen werden.
Gerade bei Machine-Learning-Verfahren stoßen etablierte Methoden der Systemsicherheit an Grenzen. Klassische Gefahren- und Fehleranalysen setzen voraus, mögliche Fehlfunktionen beschreiben und ihre Auswirkungen bewerten zu können. Bei komplexen lernenden Algorithmen wird dies schwieriger. Eigenschaften wie Zuverlässigkeit, Transparenz, Erklärbarkeit, Robustheit und die Fähigkeit, Unsicherheit abzuschätzen, werden deshalb zu wichtigen Kriterien für die Bewertung eines Verfahrens.
Dass technische und ethische Risiken dabei nicht identisch sind, verdeutlicht Gollnick anhand der automatisierten Fahrzeugerkennung. Wird beispielsweise ein geschütztes Sanitätsfahrzeug fälschlicherweise als militärisches Kampffahrzeug klassifiziert, kann derselbe technische Erkennungsfehler eine wesentlich höhere ethische Kritikalität besitzen als eine Verwechslung zwischen zwei legitimen militärischen Zielen. Die Konsequenz eines Fehlers muss daher Teil der Bewertung sein.
Im Forschungsprojekt wird deshalb untersucht, ob sich KI-Verfahren Zuverlässigkeits- und ethischen Risikoklassen zuordnen lassen. Je kritischer die möglichen Folgen einer KI-gestützten Funktion sind, desto höher müssten entsprechend die Anforderungen an den eingesetzten Algorithmus und dessen Nachweisbarkeit ausfallen.
Eine rein technische Gefahrenanalyse greift damit bei KI-basierten Waffensystemen zu kurz. Ethische Anforderungen müssen bereits in die Systementwicklung und funktionale Bewertung einfließen, statt erst bei der späteren Nutzung betrachtet zu werden. Künftig soll der Ansatz auch auf die Qualität von Trainingsdaten und auf unterschiedliche Szenarien im Wargaming übertragen werden.