A Study on Hanwoo Mounting Detection System using Hybrid Pipeline based on Vision-Language Models(VLM)

본 논문은 축사 내 Vision-Image 데이터를 활용하여 한우 객체 간의 복잡한 상호작용을 인식하고, 번식 효율성과 직결되는 핵심 지표인 승가(Mounting) 행위를 실시간으로 정밀하게 검출하기 위한 지능형 영상처리 시스템을 제안한다. 기존 축사 모니터링에 활용되던 일반적인 객체 탐지 모델들은 모델 학습을 위해 방대한 양의 정제된 데이터를 요구할 뿐만 아니라, 단순히 객체가 겹쳐 있는 상황과 실제 승가 행위를 명확히 구분하지 못하는 문맥적 이해의 한계로 인해 높은 오탐지율을 기록해 왔다. 본 연구는 이러한 기술적 한계를 극복하기 위해 최신 거대 시각-언어 모델(VLM)을 도입하였으며, 실제 축산 현장에 적용 가능한 실시간 하이브리드 파이프라인을 설계하였다. 제안하는 시스템은 에지 컴퓨팅 환경에 최적화된 경량화 Trigger 모델이 승가 의심 구간을 1차적으로 선별하고, 선별된 고부하 프레임에 대해서만 VLM(Verifier)이 정밀 판독을 수행하는 효율적인 2단계(Two-stage) 구조를 취한다. 실험 결과, 본 시스템은 별도의 대규모 학습 데이터 구축 과정 없이도 Zero-shot 성능을 통해 높은 정확도로 승가 행위를 식별해냈으며, 이를 통해 스마트팜 환경에서의 기술적 실용성과 운영 비용 효율성을 동시에 검증하였다.