Historical Data Embedding Using Hopfield Networks in Reinforcement Learning-Based Recommender Systems

본 연구에서는 제한된 최신 정보만 사용하는 대신, 강화학습 기반 추천 시스템에서 과거정보를 모두 활용할 수 있는 방법에 대해 제안한다. 구체적으로, 사용자와 시스템 간의 과거 상호작용을 강화학습 모델의 상태로 고려할 수 있는 Modern Hopfield Network의 확장 모델인 FrozenHopfield(FH)를 활용하여 추천 시스템 성능을 높이는 것을 목표로 한다. 이를 위해 과거 정보를 효율적으로 압축할 수 있는 Transformer-XL과 FH를 결합한 TH-Rec 모델을 제안하고, 이를 추천 시스템에 어떻게 적용할 수 있는지 확인한다. 또한, 인기 숏비디오 플랫폼인 Kuaishou의 KuaiRec 데이터를 이용해 본 연구에서 제안한 접근법을 검증하고, 다른 추천 알고리즘과 성능 비교 실험을 수행하였다. 실험 결과, TH-Rec 모델은 기준 모델들을 크게 능가하며, 과거 데이터를 임베딩하기 위해 Hopfield 네트워크를 강화학습 기반 추천 시스템에 적용했을 때 얻을 수 있는 이점을 확인하였다. 이 연구는 추천 시스템과 강화학습 분야에서 Hopfield 네트워크 활용 가능성을 넓히고, 향후 관련 연구에 중요한 기여를 할 것으로 기대된다.