A Study on Malware Family Classification Method based on Separable Vision Transformer Using Sharpness-Aware Minimization

악성코드 시각화를 통한 악성코드 유형 분류 기법은 악성코드 이미지를 생성하고, Convolutional Neural Networks(CNNs)와 같은 인공지능 모델을 활용하여 분류를 수행한다. 하지만, CNN 계열 모델을 활용한 기법은 난독화 기법에 취약하다는 한계점이 있다. 본 논문에서는 난독화 기법에 강한 Separable Vision Transformer(SepViT) 기반 악성코드 유형 분류 기법을 제안한다. 제안하는 기법은 악성코드를 grayscale 이미지로 시각화한 후에 Sharpness-Aware Minimization(SAM)을 적용한 SepViT 모델로 악성코드 유형 분류를 수행한다. Microsoft Malware Classification Challenge 데이터셋을 대상으로 한 실험을 통해, 제안하는 기법에서 활용한 SAM Optimizer 기반 SepViT가 4개의 모델(ResNet18, ViT, CrossViT, 기존 SepViT)보다 정확하게 악성코드 유형을 분류할 수 있음을 보이며, Grad-Cam을 통해 분류 근거를 분석하였다. 또한, AndroDex 데이터셋을 대상으로 한 실험을 통해 악성코드에 난독화가 적용된 상황에서도 제안하는 기법이 우수한 탐지 성능을 나타내는 것을 확인하였다.