Ein umfassendes Lagebild verlangt mehr als die bloße Erkennung eines Objekts. Relevant ist, was sich im Bild befindet, wo es sich befindet und wie es sich bewegt. Gerade bei kleinen oder getarnten Objekten, großen überwachten Gebieten und unterschiedlichen Sichtbedingungen stößt die rein menschliche Videoauswertung schnell an Grenzen. KI-basierte Verfahren sollen deshalb wesentliche Schritte der Auswertung automatisieren.
Eine wichtige Grundlage ist die Kombination unterschiedlicher Sensoren. Das Fraunhofer IOSB verbindet visuell-optische Aufnahmen mit thermischem Infrarot und konnte dadurch die Detektionsleistung gegenüber der Nutzung einzelner Modalitäten verbessern. Gleichzeitig werden Verfahren entwickelt, mit denen unterschiedliche Trainingsdatensätze zusammengeführt werden können. Ein daraus entstandener „Universaldetektor“ soll Personen sowie Land-, Luft- und Wasserfahrzeuge gleichermaßen erkennen. Auch eine feingranulare Unterscheidung militärischer Fahrzeuge und die Erkennung von Fahrspuren im Gelände gehören zum Ansatz, denn ein verborgenes Fahrzeug kann schwer sichtbar sein, seine Spuren hingegen nicht.
Auf die Detektion folgt die möglichst genaue geografische Einordnung. Statt erkannte Objekte lediglich auf eine flache Karte zu projizieren, wird aus den Sensordaten in Echtzeit ein dreidimensionales Geländemodell aufgebaut. Dadurch lassen sich Detektionen präziser mit Weltkoordinaten verknüpfen. Multi-Object-Tracking ergänzt das Lagebild um Bewegungsrichtung und Geschwindigkeit. Erscheinungsmerkmale helfen dabei, ein Objekt auch nach einer zwischenzeitlichen Verdeckung wiederzuerkennen.
Entscheidend ist dabei die Überführung der Forschung in nutzbare Systeme. Die Verfahren arbeiten in Echtzeit und werden in interoperable Auswertelösungen integriert. Neben dem bereits länger entwickelten System zur automatisierten Bild- und Videoauswertung für unbemannte Luftfahrzeuge wurde Anfang 2026 zudem ein System für den KI-basierten Objektschutz an die Bundeswehr ausgeliefert. Es wertet visuelle und thermische Sensordaten permanent aus und kann automatisch alarmieren, wenn ein Objekt in einen definierten Schutzbereich eindringt.
Damit wird KI zum Bindeglied zwischen Sensor und Lagebild: Aus großen Mengen an Rohdaten entstehen automatisiert Informationen über Art, Position und Bewegung relevanter Objekte und damit eine Grundlage für schnellere und präzisere Lagebeurteilung.