A Study on a Question and Answer Relevance Identification Model Handling Data Imbalance for Battlefield Analysis

본 연구에서는 국방 도메인의 데이터를 기반으로 입력으로 받은 질문과 질문에 대한 답변의 관련성을 측정하는 다층 퍼셉트론 기반의 관련성 식별 회귀-분류 모델을 제안한다. 먼저, 입력 데이터를 효과적으로 처리하기 위한 임베딩 벡터 방법과 전처리 방안에 대해 수행한다. 전처리 방안에서는 모델 입력 단계에서 특정 클래스의 데이터 불균형 문제가 발생할 경우, Re-Weight 샘플링 과정을 거치고 모순되는 데이터를 사전에 식별하여 제거하는 알고리즘을 추가한다. 또한, 관련성 식별 회귀-분류 모델은 회귀 모델의 태스크 형태를 가지지만 동시에 분류 형태 태스크로 변환하여 풀 수 있는 정규화(regularization) 항을 추가한 모델 구조를 제안한다. 실험은 사전에 구축된 국방 도메인의 모의 데이터셋을 활용했으며 모델 추론 결과를 통해 모델의 성능을 입증하였다.