Spatio-Temporal Modeling via Adaptive Frequency Filtering for Video Action Recognition

비디오 데이터에서 장기적인 시공간 의존성을 모델링하는 것은 주요 도전 과제 중 하나이다. 그러나 CNN 계열 모델은 로컬 수용영역만을 반복하므로 비디오의 글로벌 컨텍스트를 포착하는 데 한계가 있다. 이를 해결하기 위해, 우리는 기존 CNN 모델과 쉽게 통합될 수 있는 효율적인 전역 시공간 모델링 방법을 제안한다. 우리 접근법은 이산 코사인 변환(DCT)을 활용하여 비디오 정보를 주파수 도메인으로 변환한 후, 두 가지 적응적 필터링을 수행한다. 하나는 중복된 주파수를 제거하면서 중요한 정보를 보존하고, 다른 하나는 중요한 주파수를 강화하여 시공간 모델링을 개선한다. 또한, 우리는 다양한 숫자 행동(이동, 회전, 스케일링 등)을 특징으로 하는 경량 데이터셋인 DynamicMNIST를 소개한다. 세 가지 행동 인식 벤치마크와 DynamicMNIST에 대한 평가 결과, 제안된 모듈이 추가 매개변수와 계산 비용을 최소화 하면서도 다양한 CNN 모델에서 비디오 인식 성능을 향상시킨다는 것을 보인다.