Wenn die KI wissen muss, wann der Mensch übernehmen kann

Je autonomer unbemannte Systeme agieren, desto stärker verändert sich die Belastung ihrer Bediener. Phasen geringer Aktivität können zu Unterforderung und nachlassender Aufmerksamkeit führen, während eine plötzlich komplexere Lage die Belastung innerhalb kürzester Zeit stark erhöhen kann. Besonders kritisch werden Übergabesituationen, wenn ein System die Kontrolle an den Menschen zurückgeben muss. Ein technisch einwandfreier Systemzustand sagt dabei noch nichts darüber aus, ob der Operator in diesem Moment tatsächlich handlungsfähig ist.
Genau hier setzt die Erfassung des Human State an. Dieser lässt sich nicht aus einem einzelnen physiologischen Signal ableiten. Beispielsweise Herzfrequenz, Hautleitfähigkeit, Blickverhalten, Aufgabenanforderungen und tatsächliche Performance müssen im jeweiligen Kontext betrachtet und über die Zeit zusammengeführt werden. Entscheidend ist zudem, die Unsicherheit einer solchen Zustandsschätzung ausdrücklich zu berücksichtigen. Eine erhöhte Hautleitfähigkeit bedeutet beispielsweise nicht automatisch Überlastung, und Vertrauen in ein System lässt sich nicht allein anhand physiologischer Daten bestimmen.
Für adaptive Mensch-Maschine-Systeme folgt daraus ein wichtiges Designprinzip: Zustandsschätzung und Eingriffsentscheidung müssen voneinander getrennt bleiben. Die KI kann abschätzen, in welchem Zustand sich ein Operator befindet. Ob und wie das System darauf reagiert, muss jedoch zusätzlich von Missionslage, Risiko und vorher festgelegten Autoritätsgrenzen abhängen. Unterstützung ist dabei kein einfaches An oder Aus, sondern kann von zusätzlichen Informationen und Hinweisen bis zu einem Handover reichen.
Auch adaptive Systeme können neue Fehler erzeugen. Fehlalarme können den Menschen unnötig aus seiner Tätigkeit reißen, kritische Zustände zu spät erkannt werden oder häufige Wechsel von der Autonomie zurück zu dem Bediener den Operator zusätzlich belasten. Deshalb reicht es nicht aus, lediglich die Genauigkeit eines KI-Modells zu validieren.
Im Mittelpunkt muss vielmehr das gesamte Zusammenspiel von Mensch und Maschine als gemeinsam fungierendes Team stehen: Zustandsschätzung, Entscheidungslogik und Interface müssen unter realistischen Bedingungen gemeinsam funktionieren. Human-AI-Teaming bedeutet damit nicht, dem System möglichst viel Autonomie zu übertragen. Entscheidend ist, Unterstützung situationsgerecht, risikogestuft und reversibel zu gestalten, damit Mensch und Maschine gerade in kritischen Situationen als Team handlungsfähig bleiben.