Token-based Interpretable Framework for Shoeprint-outsole Matching

본 연구는 범죄 현장에서의 족적–신발 매칭 정확도와 해석 가능성을 동시에 향상시키기 위해 Token 기반의 Cross-domain 매칭 종합 프레임워크를 제안한다. 기존의 족적 분석은 전문가의 육안 비교나 수작업 특징에 의존하여 주관적 오류가 발생하기 쉽고, 저품질 족적과 고품질 신발 이미지 간의 Cross-domain gap을 효과적으로 처리하지 못하는 한계를 지닌다. 이를 해결하기 위해 제안된 프레임워크는 세 가지 핵심 모듈로 구성된다. 첫째, 임베딩 기반 반복적 정제를 활용한 신발 이미지 그룹화를 통해 수작업 라벨링 과정에서 발생하는 라벨 불일치 문제를 완화하고 데이터의 일관성을 확보하였다. 둘째, Multi-scale Re-ranking을 적용하여 다양한 해상도에서 후보 쌍을 재평가함으로써, 패턴 크기 차이에 따른 검색 정확도를 향상시켰다. 셋째, Attention map 기반 유사 부위 시각화를 통해 족적과 신발 간의 공통 패턴과 주목 영역을 시각적으로 비교함으로써, Cross-domain 매칭 결과의 신뢰성과 해석 가능성을 강화하였다. 실험 결과, 제안된 방법은 기존 기법 대비 우수한 검색 정확도와 시각적 근거를 함께 제공함으로써 신뢰성 있고 해석 가능한 자동화된 족적–신발 매칭 프레임워크임을 입증하였다.