Simultaneous Detection and Segmentation of Different Objects

Objekterkennung und Bildsegmentierung sind zunehmend essenzielle, jedoch rechenintensive Computervision Aufgaben, besonders in den Bereichen Edge Computing und Embedded Devices. Herkömm- liche Systeme nutzen meist separate, für eine Aufgabe konzipierte Netzwerke, was zu redundanten Berechnungen sowie erhöhtem Ressourcenaufwand führt und so den Einsatz auf Embedded Devices erschwert. Diese Arbeit untersucht die Machbarkeit von drei Strategien zur gemeinsamen Nutzung des Encoders, um Redundanz im System zu reduzieren und quantifiziert deren Einfluss auf Performance sowie Ressourcenverbrauch: • Encoder Swapping: Ein Netzwerk wird für eine Aufgabe trainiert, dessen Encoder dann einge- froren und für eine andere Aufgabe eingesetzt. • Encoder Sharing: Ein eingefrorener, zuvor aufgabenunabhängig trainierter Encoder wird für beide Aufgaben verwendet. • Dual-Head: Gemeinsames Training eines einzelnen Encoders mit separaten Objekterkennungs- und Segmentierungsköpfen. Vier Backbones (ResNet18, MobileNetV3-Large, EfficientNetV2-S, DenseNet121) wurden auf einem 20- Klassen COCO Subset evaluiert. Dual-Head-Modelle performten stets besser als andere Trainingsmeth- oden sowie Single-Task-Baselines, mit Verbesserungen von bis zu 17% mAP und 10% mIoU bei re- duzierter Parameterzahl von etwa 45%. Erlaubt man begrenzte Anpassung der eingefrorenen Encoder mittels Bias-Adaption, kann der Performanceverlust um bis zu 21 Prozentpunkte reduziert werden. In- ferenztests auf einem NVIDIA Jetson AGX Orin bestätigen, dass Dual-Head-Modelle schneller auszuführbar sind als eine sequenzielle Verarbeitung durch entsprechende Single-Task-Modelle. Die Ergebnisse zeigen, dass gemeinsam genutzte Encoder mit minimaler aufgabenspezifischer Anpassung oder gemeinsamer Optimierung sowohl Effizienz als auch höhere Leistung in Multi-Task-Vision-Anwendungen liefern können, wobei Bias-Adaption eine Alternative darstellt, wenn gemeinsames Training nicht praktikabel oder möglich ist.