Quantitative Error Detection and Categorization for SAM2-based Multiple Object Tracking

영상 기반 인식 시스템의 수요가 증가함에 따라 다중 객체 추적(Multiple Object Tracking, MOT) 기술의 중요성이 부각되고 있다. 최근에는 객체의 정밀한 분리를 위해 영상 분할(image segmentation) 기술이 결합되고 있으며, 이를 위해 SAM2(Segment Anything in Images and Videos)와 같은 범용 객체 분할 모델이 널리 사용되고 있다. SAM2는 많은 응용 분야에서 우수한 성능을 보여주지만 유사한 객체가 중첩되거나 복잡한 배경과 결합된 장면에서는 분할 정확도가 급격히 저하되는 한계가 있다. 따라서 본 연구에서는 이러한 문제를 해결하고자 SAM2 기반 객체 분할 결과에서 오류가 발생한 프레임을 자동으로 탐지하는 분할 오류 이벤트를 검출하는 기법을 제안한다. 제안 기법에서는 객체가 서로 중첩 상황에서의 오류 유형을 중복 오류와 교환 오류로 구분한다. 그리고 객체 마스크의 면적 변화, 중복 비율, 경계 상자의 겹침 여부 등을 기반으로 유형별 오류를 정량적으로 판단한다. 다양한 환경에서 획득한 여러 해상도의 총 8종의 실험 영상을 대상으로 검증한 결과, 제안된 알고리즘은 분할 오류 이벤트를 검출하였으며 프롬프트 재입력에 의한 오류 보정 가능성도 확인되었다. 제안 방법은 유사한 객체가 중첩되는 복잡한 환경에서 SAM2 기반 다중 객체 추적 시스템의 신뢰도 및 확장성을 향상시키는 실용적이고 효과적인 접근으로 평가된다.