Layout Code Generation using Large Multimodal Models

GUI 레이아웃 생성은 사용자 인터페이스의 구성 요소를 분석하고 구조적으로 배치하는 핵심 기술이다. 본 연구는 거대 멀티모달 모델(Large Multimodal Models, LMMs)을 활용하여 이미지의 레이아웃을 구조화된 코드로 변환하는 새로운 접근을 제안한다. 제안된 방법은 별도의 학습 없이도 LMM이 GUI의 시각 및 구조적 정보를 효과적으로 이해하고, 이를 기반으로 레이아웃을 생성할 수 있도록 설계되었다. 본 프레임워크는 입력 이미지로부터 특징 벡터를 추출 후 유사 이미지를 검색한 뒤, 해당 예시에 시각 및 공간적 증강 기법을 조합하여 few-shot 학습에 활용한다. 특히, 원본과 가장 유사하지 않은 증강 예시를 선택함으로써 LMM이 이미지와 코드 간의 의미적 연관성을 보다 명확하게 학습할 수 있도록 유도하였다. 실험을 통해, 본 방법은 기존 텍스트 기반 프롬프트 방식보다 높은 생성 성능을 보여주었으며, 레이아웃 코드 생성을 위한 LMM 활용의 실질적인 가능성을 제시한다.