Für unbemannte Luftfahrzeuge (Unmanned Aerial Vehicles, UAV) ist die zuverlässige Wahrnehmung ihrer Umgebung eine zentrale Voraussetzung. Am ISL werden deshalb verschiedene Technologien entwickelt, die Detektion, Tracking, Navigation und Steuerung miteinander verbinden. Eine wichtige Grundlage bilden geeignete Trainingsdaten. Dafür kombiniert das Institut reale Aufnahmen mit unterschiedlichen Datenquellen, darunter Modelle und KI-generierte Hintergründe und validiert die entwickelten Verfahren anschließend unter realitätsnahen Bedingungen.
Beim Tracking zeigt sich das Potenzial KI-basierter Ansätze besonders deutlich. Klassische Verfahren können Ziele verlieren und müssen anschließend erneut initialisiert werden. KI-gestützte Tracker sollen ein Ziel dagegen selbstständig wiederfinden. Durch die Kombination von RGB- und Wärmebildsensorik sowie Bewegungsinformationen der Drohne lässt sich das Tracking zusätzlich stabilisieren, etwa bei Nacht oder wenn ein Objekt zeitweise durch Rauch oder andere Hindernisse verdeckt wird.
Ein besonderer Schwerpunkt liegt auf der visuellen absoluten Selbstlokalisierung in GNSS-verweigerten Umgebungen. Fällt die satellitengestützte Navigation durch Jamming oder Spoofing aus, soll sich ein UAV anhand der Bilder seiner nach unten gerichteten Kamera selbst lokalisieren können. Schulenburg beschreibt dafür einen zweistufigen Ansatz, der zunächst eine grobe Suche und anschließend eine präzise Positionsbestimmung durchführt. Dadurch sollen Geschwindigkeit, Resilienz und Genauigkeit miteinander verbunden werden.
Ergänzend untersucht das ISL sogenannte Eventkameras zur Erkennung schneller und visuell schwer erfassbarer Drohnen. Anders als klassische Kameras zeichnen sie nicht fortlaufend vollständige Einzelbilder auf, sondern registrieren Veränderungen einzelner Pixel mit sehr hoher zeitlicher Auflösung. Das kann insbesondere bei schnell bewegten Zielen Vorteile bieten. Eine Herausforderung besteht darin, die Eigenbewegung der Kamera herauszurechnen, damit sie nicht selbst eine große Zahl irrelevanter Ereignisse erzeugt.
Die verschiedenen Forschungsarbeiten verfolgen damit ein gemeinsames Ziel: unbemannte Systeme weniger abhängig von einzelnen Sensoren und externen Navigationssignalen zu machen. Visuelle Wahrnehmung wird dabei zunehmend selbst zu einem Bestandteil von Navigation und Autonomie, gerade dort, wo GNSS und klassische Verfahren an ihre Grenzen stoßen.