Improving Topic-Specific Document Selection through BERTopic and Re-Clustering

본 논문에서는 다양한 데이터 분포에 따른 BERTopic 기반 군집화 결과를 분석한다. 또한, 연구자가 원하는 목표 주제 문서를 선별하기 위한 재군집화 방법을 제안한다. 기존 군집화 기법은 목표 주제의 문서 비율이 매우 낮거나 높으면 정확한 문서 선별에 어려움을 겪는다. 이 문제 해결을 위해 검색으로 수집된 문서에서 목표 주제 문서가 다양한 비율로 포함되도록 샘플링을 수행한다. SBERT를 사용한 BERTopic 모델에 K-평균과 HDBSCAN 알고리즘을 적용하여 군집화를 수행하고 결과를 비교한다. 재군집화 단계에서는 이상치로 분류된 문서를 다시 군집화하여 원래 결과와 병합한다. 재군집화 전후 결과는 네 가지 평가지표를 통해 비교했다. 정확도는 0.7251에서 0.9421로, F1 Score는 0.8449에서 0.9423으로 향상되었다. ARI와 NMI는 각각 0.3626과 0.2805만큼 증가했다. 이는 제안된 방법이 군집 품질을 향상하고 문서 선별의 정확도를 높인다는 것을 보여준다.