A Comparative Analysis of Performance Changes Varying K values in PA%K for Evaluating Anomaly Detection in Multivariate Time Series

딥러닝 모델을 활용한 다변량 시계열 이상 탐지 연구는 연속적인 여러 시점 구간으로 나타나는 시계열 이상을 효과적으로 성능 평가에 반영하기 위해, 레이블 조정 방법인 PA(point-adjust) 기반 F1 점수로 탐지 성능을 측정한다. PA%K는 하이퍼파라미터 K 값을 활용하여 PA 기반 F1 점수가 실제 성능에 비해 과하게 측정되는 현상을 방지하는 방법이다. PA%K를 제안한 연구는 학습된 딥러닝 모델을 활용하는 경우 K 값에 따른 성능 변화가 적다고 언급하였지만, 하나의 다변량 시계열에 대한 실험을 진행하였기 때문에 효과적으로 성능 변화를 보여주었다기에는 한계점이 있다. 본 논문에서는 서로 다른 다변량 시계열들을 활용하여 K 값에 따른 탐지 성능 변화를 비교 분석한다. 여러 시계열을 포함하는 두 실제 데이터셋에 대한 실험 결과는 학습된 모델을 활용하더라도 K 값에 따라 성능 변화가 나타날 수 있음을 보인다. 그리고 이상 구간 크기 분포가 다르면 성능 변화 양상도 달라질 수 있음을 보인다.