In-Cabin Driver Monitoring Using Video- and Pose-Based Action Recognition

Menschliche Aktionserkennung auf Basis visueller oder räumlicher Daten, wie z.B. Bilddaten oder Daten, welche die Fahrerpose beschreiben, birgt erhebliches Potential für die Fahrerüberwachung im Kontext des halbautonomen Individualverkehrs. Derzeitige Fahrerassistenzsysteme (FAS) erfordern noch immer eine Überwachung durch den menschlichen Fahrer und die automatisierte Fahrerüberwachung kann dabei helfen, die korrekte und verantwortungsvolle Benutzung solcher halbautonomer FAS Funktionen sicherzustellen. In dieser Arbeit vergleichen wir zwei Ansätze, die daruf abzielen, ein Fahrerüberwachungssystem auf Basis tiefer neuronaler Netwerke mittels Techniken der Computer Vision umzusetzen: posenbasierte und videobasierte Aktionserkennung. Für beide Ansätze evaluieren wir mehrere Modelle auf zwei Datensätzen, indem wir die Klassifikationsgenauigkeit im Gesamten und für einzelne Aktionsklassen ermitteln und vergleichen. Zudem messen wir die Vorhersagelatenz und die Anzahl der Gleitkommaoperationen eines jeden Modells und diskutieren die Ergebnisse im Kontext der qualitativen Eigenschaften von posen- und videobasierten Methoden. In Abhängigkeit vom Datensatz und seinen Klassen erreichen posenbasierte Modelle in unseren Experimenten eine Sensitivität von bis zu 78% im Vergleich zu bis zu 75% bei videobasierten Modellen, während sie zudem vorteilhafte strukturelle Eigenschaften für den anvisierten Anwendungsbereich zeigen. Videobasierte Modelle können jedoch unter selben Bedingungen oft ein besseres Ergebnis als posenbasierte Modelle erreichen, sind aber um mindestens eine Größenordnung rechenaufwändiger. Mit ihrem dadurch bedingten kürzeren zeitlichen rezeptiven Feld zeigen sie mitunter Schwierigkeiten, zeitliche Abhängigkeiten abzubilden. Posenbasierte Modelle erfassen diese leichter, sind aber auf lange zeitliche rezeptive Felder angewiesen, mit Auswirkung auf die effektive Erkennungslatenz.