Resolving Ambiguity in Visual Question Answering through an Iterative Clarifying QA-based Framework

본 논문은 VQA에서 발생하는 모호한 객체 문제, 즉 질문에서 언급한 객체가 이미지 내 여러 객체 중 무엇을 참조하는지 모호하여 발생하는 문제를 해결하기 위해 세 단계 프레임워크를 제안한다. 제안된 프레임워크는 (1)질문의 모호성을 판단하는 단계, (2)모호한 경우에만 반복적 질의응답을 수행하는 단계, (3)그 결과를 정보로써 활용하여 최종 VQA를 수행하는 단계로 구성된다. 특히 명확화 질문은 모델이 추가 학습 없이 객체의 시각적 단서를 활용해 생성하며, 이전 질문과 응답을 반영해 반복적으로 질문을 정교화한다. 기존 대비 정확도 6.7%, 의미적 유사도 기반 정확도 5.6%의 성능을 향상하였으며, 멀티 턴 방식의 효율성 한계를 극복하기 위해 모호성 판별 및 반복 종료 전략을 도입해 증가한 전체 수행 시간이 약 44% 단축되었다. 본 연구는 추가 학습 없이도 실시간으로 명확화 과정을 수행함으로써 모호한 객체 문제를 해결하고 VQA 정확도를 개선하는 실용적인 해결책을 제시한다.