Zero-shot Model-based Abnormal Behavior Detection Fusion Model in Unmanned Store

본 논문에서는 무인 매장에서 발생하는 범죄 사고를 예방하기 위한 제로샷 모델 기반 이상행동 탐지 비전 융합 모델을 제안한다. 24시간 운영되는 무인 매장에서 파손, 폭행 등 범죄 상황이 발생할 수 있으며 빠른 대처가 유인 매장에 비해 느리다. 이를 해결하기 위해서, 사람들의 이상행동을 탐지하고 매장의 기물 및 상품 등을 파악하는 기술이 필요하다. 본 논문은 이상행동 탐지를 위해서 제로샷 기반 이미지 분할, 깊이 추정과 모션 캡쳐, 객체 탐지, 다중 객체 추적을 융합한다. 기물 및 상품 파악을 위해서 모든 객체를 학습한 탐지 모델이 필요하지만, 비용과 복잡도 면에서 어려운 점이 존재한다. 이를 극복하기 위해 제로샷 기반의 이미지 분할과 깊이 추정 알고리즘을 융합하여 미학습된 객체를 탐지할 수 있게 되었다. 제안한 모델로 이상행동 탐지를 실험한 결과로 정확도 0.919, 재현율 0.934, 정밀도 0.966, F1 점수 0.949의 이상행동 인식 성능을 보여주었다.