Learning Temporal Consistency for Video Scene Graph Generation

영상에서 객체 정보를 텍스트 기호로 표현하는 것은 고수준의 영상 추론에 효과적이다. 특히, 객체 간의 공간적 관계를 나타내는 장면 그래프 생성은 복잡한 시각적 질의응답과 이미지 생성 문제를 해결하는 데 효과적이다. 이와 유사하게, 비디오의 내용을 장면 그래프로 표현하는 것은 비디오 질의응답과 같은 문제를 해결하는 데 도움이 된다. 그러나 비디오로부터 장면 그래프를 생성하는 것은 여전히 어려운 문제이다. 이는 공간 및 시간적 차원에서 포괄적인 이해가 필요하기 때문이다. 우리는 기존의 비디오 장면 그래프 생성 방법에서 나타나는 고질적인 문제점을 다루고, 새로운 정규화 방법을 제안한다. 이 방법은 생성된 그래프들 사이의 의미적 일관성을 보장하고, 시간적 구조 일관성을 고려하는 강력한 측정 방법을 제안한다. 우리는 제안된 방법을 통해 Action Genome 데이터셋에서 장면 그래프 생성 문제를 수행하여, 예측 정확도와 시간적 일관성을 향상시킬 수 있음을 입증한다.