An Attack Graph and Reinforcement Learning-Based Analysis of Attack Paths for Vulnerability Assessment

취약점 분석·평가는 사이버 위협에 대한 시스템 및 네트워크의 보안 결함을 한정된 시간내에 최대한 식별하여 심각도를 측정하는 일련의 과정이다. 현대 네트워크의 규모와 복잡성을 고려하였을 때, 취약점을 보다 명확히 파악하고 분석하는 것이 중요하다. 공격 그래프는 각 취약점을 독립적인 개체로 간주하지 않고 취약점 간 상호 관계성, 의존성 등을 고려하여 취약점 분석을 수행할 수 있다. 강화학습은 학습 에이전트가 환경과 상호작용을 통해 누적보상을 최대화하는 행동을 선택하는 학습법이다. 본 논문은 효율적인 취약점 분석·평가를 위해 공격 그래프와 강화학습을 결합한 프레임워크를 제안한다. 해당 프레임워크에서는 공격 그래프를 강화학습을 위한 환경으로 변환한다. 이후 보상 함수를 설정하고, 강화학습 알고리즘인 Q-learning을 활용하여 학습한다. 학습을 마치면, 결과 그래프를 그려 학습 파라미터 별 누적 보상과 에이전트의 학습 과정을 비교한다. 그래프 이외에 결과 데이터를 추출 및 정제하여 가장 취약한 경로를 시각화하고, 경로상의 노드를 정리하여 읽기 쉬운 데이터로 제공한다.