Computational Approaches for App-to-App Retrieval and Design Consistency Check

모바일 사용자 인터페이스로부터 시맨틱 표현을 추출하고 이를 디자이너의 의사 결정 과정에 활용하는 방법은 효과적인 디자인 지원 도구로 주목받고 있다. 이러한 접근법들은 현재 대부분 소규모의 모바일 UI 데이터셋을 사용하여 학습된 머신러닝 모델을 기반으로, 스크린샷 간의 비교를 통해 시각적으로 유사한 UI를 검색하는 방식이다. 그러나 이러한 방식들은 오픈소스로 제공되지 않거나, 복잡한 학습 파이프라인으로 인해 실제 사용자들이 활용하기 어려우며, 스크린샷 세트(앱) 간 분석이 불가능하다는 한계가 있다. 따라서 본 연구에서는 (1) 대규모 웹 스케일 이미지 데이터로 학습된 시각 모델을 활용하여 별도의 추가 학습 없이(zero-shot) UI의 시맨틱 표현을 추출하고, (2) 수리적 모델에 기반한 계산적 접근법을 통해 앱 단위 분석을 가능하게 한다. 실험 결과 제안한 접근법은 기존 방법 대비 우수한 성능을 보일 뿐 아니라, 앱 간 검색 및 디자인 일관성 검증 등 새로운 활용 가능성을 확인하였다.