Vision Transformer Interpretability for Video-based Action Recognition

Die Erkennung von Verhaltensweisen von Autofahrer*innen ist ein wichtiger Bestandteil intelligenter Überwachungssysteme im Fahrzeuginnenraum, die darauf abzielen, die Verkehrssicherheit durch die Erkennung riskanter Verhaltensweisen wie Müdigkeit, Ablenkung oder Telefonieren zu verbessern. Transformer-Modelle haben sich in letzter Zeit als vielversprechende Lösung für diese videobasierte Aufgabe herausgestellt, da sie komplexe räumlich-zeitliche Muster modellieren können. Ihre Einführung in sicherheitskritische Bereiche wie die Fahrer*innenüberwachung wird jedoch durch zwei wesentliche Einschränkungen behindert: (1) eine schlechte Interpretierbarkeit, die es erschwert, die Entscheidungsfindung des Modells zu verstehen, Transparenz zu gewährleisten und potenzielle Verzerrungen im Ergebnis zu identifizieren, (2) sowie lange Rechenzeiten, die praktische Herausforderungen für den Echtzeit-Einsatz in ressourcenbeschränkten Umgebungen mit sich bringen. In dieser Arbeit befassen wir uns mit diesen beiden Herausforderungen, indem wir bestehende Interpretierbarkeitstechniken anwenden und einen Layer-Pruning-Ansatz einführen, der sich an der Wichtigkeit der Attention Heads orientiert. Unsere qualitative Analyse der Attention Heads über alle Netzwerk-Schichten hinweg zeigt, wie Transformer räumlich-zeitliche Merkmale schrittweise kodieren, wobei Heads in tieferen Schichten sich auf Merkmale spezialisieren, die für das Fahrverhalten relevant sind. Diese Analyse unterstreicht die Wirksamkeit der angewandten Metriken zur Erkennung der Bedeutung der Heads bei der Identifizierung der entscheidenden Attention Heads und gibt Aufschluss über die wichtigsten visuellen Hinweise, welche die Vorhersagen des Modells leiten. Quantitative experimentelle Ergebnisse zeigen, dass unsere vorgeschlagene Pruning-Technik eine erhebliche Reduzierung der Rechenzeit bei minimaler Leistungseinbuße durch das Entfernen von Schichten mit geringer Relevanz erzielt. Konkret erreichen wir auf unserem DriverActionInsight (DAI)-Datensatz eine FLOPs-Einsparung von 23,5% bei der Komprimierung von Video Swin mit einer Verringerung der Top-1-Genauigkeit von weniger als 1%. Diese Ergebnisse zeigen das Potenzial unseres Ansatzes auf, die Interpretierbarkeit und Effizienz von Video-Transformer-Modellen zu erhöhen und dadurch ihren Echtzeiteinsatz in Fahrer*innenassistenzsystemen zu ermöglichen.