Inference for the Transition Network Topic Model Using AWSGLD

문서 내 주제 구조를 분석하기 위한 토픽 모델링 기법은 다양한 분야에서 활용되고 있으나, 기존의 문서 단위 모델은 문장 간 주제 전이와 같은 미시적 구조를 충분히 반영하지 못한다는 한계를 가진다. 전이 네트워크 토픽 모델(TNTM)은 문장별 토픽 할당과 토픽 간 전이 확률을 함께 추정함으로써 문서 내부의 주제 흐름을 구조적으로 모델링한다. 그러나 TNTM은 잠재 변수와 연속 모수가 복합적으로 얽혀 있어, 효율적이면서도 안정적인 추론 방법의 설계가 중요한 과제로 남아 있다. 본 연구에서는 TNTM의 생성 구조를 유지한 채, 문장별 토픽 시퀀스는 Metropolis-Hastings within Gibbs 샘플링으로 추정하고, 토픽 전이 행렬과 단어-토픽 분포와 같은 연속 모수는 AWSGLD를 통해 추론하는 확률적 추론 프레임워크를 제안한다. AWSGLD는 사후분포의 에너지 구조에 따라 구간별 기울기 업데이트의 가중치 크기를 적응적으로 조절함으로써, 고차원 모수공간에서도 안정적인 표본추출을 가능하게 한다는 특징을 가진다. 영화 리뷰 데이터를 활용한 실험에서는 문장 내 단어 수를 인위적으로 증가시키는 방식으로 데이터 변형 환경을 설정하였다. 분석 결과, 제안한 AWSGLD 기반 추론 방법은 상대적으로 안정적인 토픽 구조를 유지하였다. 특히 생성된 토픽은 문서 전반의 의미적 흐름을 반영하는 단어 집합으로 구성되어, 해석 측면에서 기존 접근보다 우수한 특성을 보였다.