Die Entwicklung KI-gestützter Systeme schreitet schnell voran. Hersteller präsentieren leistungsfähige Modelle zur Erkennung und Klassifizierung von Objekten. Ob diese jedoch unter realen Einsatzbedingungen ebenso zuverlässig arbeiten wie in kontrollierten Tests, lässt sich häufig nur schwer beurteilen bzw. herstellerunabhängig vergleichen. Nach Einschätzung von Salzmann fehlt es insbesondere an einheitlichen, allgemein anerkannten Verfahren, mit denen sich die Leistungsfähigkeit verschiedener Lösungen nachvollziehbar vergleichen lässt.
Eine wesentliche Herausforderung liegt in den verwendeten Daten. Trainings- und Testdaten aus dem Labor bilden die Vielfalt realer Situationen nicht immer ausreichend ab. Wechselnde Umgebungsbedingungen, ungewöhnliche Perspektiven oder gezielte Täuschungsversuche können die Erkennungsleistung beeinträchtigen. Synthetisch erzeugte Daten helfen zwar dabei, zusätzliche Szenarien abzudecken. Sie ersetzen jedoch nicht die Erprobung mit realen Felddaten, da Simulationen die Wirklichkeit nur begrenzt nachbilden.
Salzmann fordert deshalb einheitliche Qualitätsmaßstäbe und Vergleichstests, sogenannte Benchmarks. Sie sollen festlegen, anhand welcher Kriterien KI-Modelle bewertet werden und wie sich ihre Ergebnisse überprüfen lassen. Dabei geht es nicht darum, ein einzelnes System grundsätzlich zum besten zu erklären. Entscheidend ist vielmehr, welches Modell die Anforderungen eines konkreten Einsatzfalls am besten erfüllt. Hinzu kommt, dass KI-Modelle laufend weiterentwickelt werden. Ein einmaliger Test reicht daher nicht aus. Qualitätsnachweise müssen wiederholbar sein und auch neue Modellversionen sowie seltene, besonders anspruchsvolle Situationen berücksichtigen. Für die Beschaffung wären solche nachvollziehbaren Kriterien eine wichtige Grundlage, um Leistungsversprechen verschiedener Anbieter einordnen zu können.
Der zentrale Ansatz: Nicht allein die Entwicklung leistungsfähiger KI entscheidet über ihren praktischen Nutzen. Ebenso wichtig sind unabhängige Validierung, hochwertige Testdaten und gemeinsame Standards. Erst wenn sich die Zuverlässigkeit eines Systems kontinuierlich nachweisen lässt, entsteht die notwendige Grundlage für einen verantwortbaren operativen Einsatz.