Real-Time Multi-Object Tracking under Resource Constraints

Multi-Object Tracking (MOT) gewinnt zunehmend an Bedeutung in Edge-Szenarien, in denen Datenschutz, Latenz und eingeschränkte Konnektivität den Einsatz Cloud-basierter Lösungen einschränken. Die lokale Ausführung von Echtzeit-MOT ermöglicht reaktives und autonomes Verhalten in sensiblen Bereichen wie Mobilität und Assistenztechnologien. Die begrenzten Rechenressourcen auf Edge-Hardware stellen jedoch eine Herausforderung für den Einsatz größerer Modelle dar. Diese Diplomarbeit untersucht Echtzeit-MOT unter hardwareseitigen Ressourcenbeschränkungen, mit Fokus auf den Kompromiss zwischen Genauigkeit, Latenz und Rechenkapazität über drei Hardwareebenen: Smartphone, Embedded-GPU und Desktop-GPU. Eine strukturierte Analyse von Detektion- und Trackingarchitekturen beschreibt die Entwicklung der You Only Look Once (YOLO)-Serie sowie Tracker wie SORT, ByteTrack und BoT-SORT. Ein neuartiger Objektdetektor, YOLOv1210, wird vorgestellt, der Attention-zentrierte Komponenten mit einem NMS-freien Detection-Head kombiniert, um die Genauigkeit zu erhöhen und die Latenz zu minimieren. Zwei domänenspezifische Datensätze werden vorgestellt, um Suchszenarien nach konkreten Objekten zu simulieren. Die Experimente zeigen, dass CNN-basierte Detektoren wie YOLOv11 auf ressourcenbeschränkten Geräten leistungsfähiger sind als Attention-basierte Modelle. Beispielsweise erreicht YOLOv11-s auf einem Smartphone eine Genauigkeit von 68,04 % mean Average Precision (mAP) bei 12 Frames Per Second (FPS), während YOLOv12-s eine vergleichbare Genauigkeit von 67,32 % mAP, jedoch lediglich 2 FPS erzielt. Unter den Trackern bietet ByteTrack das beste Verhältnis zwischen Geschwindigkeit und Genauigkeit. End-to-End MOT Pipelines wurden unter Latenzanforderungen von 5 bis 30 FPS evaluiert. Die Ergebnisse zeigen, dass sowohl die Bildrate als auch die Detektorleistung die Tracking-Stabilitätbeeinflussen. Die höchste Erkennungsgenauigkeit wurde mit YOLOv11-x in Kombination mit BoT-SORT auf einer Desktop-Graphics Processing Unit (GPU) erzielt. Eine vergleichbare Leistung konnte auf einem Jetson Orin Nano durch den Einsatz der kompakten YOLOv10-s Variante in Verbindung mit ByteTrack erreicht werden. Beide Systeme erreichten dabei eine Laufzeitgeschwindigkeit von mindestens 30 FPS. Auf einem Smartphone ist Echtzeitverarbeitung durch sorgfältige Auswahl der Architektur ebenfalls möglich, jedoch mit einem messbaren Rückgang der Tracking-Genauigkeit.