Hybrid Embedding Model for Similar Question Retrieval in CQA Platforms

Community Question-Answering 플랫폼은 사용자가 질문을 게시하고 다른 사용자가 이에 대한 답변을 제공하는 지식 공유 시스템으로 기존의 유사 질문과 답변을 활용해 정보를 얻는 데 중요한 역할을 한다. 질문과 답변의 규모가 방대한 만큼 유사 질문을 탐색하는 것이 중요한 과제이지만 기존의 키워드 기반 검색 방식은 문법 구조가 다르거나 다의어가 포함된 질문을 효과적으로 탐색하지 못하는 한계가 있고 문맥 임베딩 또는 토픽 임베딩 방식 또한 짧은 텍스트로 이루어진 CQA 환경에서 성능 저하의 문제가 있다. 본 연구는 이를 극복하기 위해 하이브리드 모델인 Topic-Enhanced SBERT를 제안한다. 본 모델은 토큰 어텐션을 기반으로 보다 정밀한 임베딩을 생성하는 TA-SBERT와 토픽 모델을 결합하였고, 효율적인 유사도 계산을 위해 바이 인코더 구조인 샴 네트워크를 채택하였다. 토픽 모델 결합을 위해 확률 기반 토픽 모델인 Latent Dirichlet Allocation 모델과 신경망 기반 토픽 모델인 Variational AutoEncoder Neural Topic Model을 각각 결합하여 두 가지의 하이브리드 모델을 구성하였다. 회귀와 분류 문제를 포함하는 세 가지 데이터에 대해 실험을 진행하여 제안한 하이브리드 모델이 단일 모델 대비 가지는 성능 향상과 기존 하이브리드 모델 대비 가지는 우수성을 입증하였다.