Urban Function Inference Based on Pre-Trained Multi-Modal Generative AI Using Street-Level Image

최근에는 영상과 텍스트를 통합하여 학습하는 멀티모달 학습, 특히 레이블링된 학습 데이터와 훈련 모델이 필요하지 않은 장점이 있는 제로 샷 사전 훈련된 멀티모달 생성형 AI 모델을 기반으로 도시기능이나 토지이용의 혼합 정도를 분석하는 연구가 진행되고 있다. 이에 본 연구에서는 우리나라 거리 영상을 자동으로 취득하고, 우리나라 도시 특성이 반영된 도시기능 택소노미와 프롬프트 템플릿을 정의하여 사전 훈련된 멀티모달 생성형 AI 모델을 적용하기 위한 프레임워크를 제안하였다. 서울특별시 전역에서 취득된 거리 영상에 적용한 결과 Accuracy는 0.63이고, F-score는 0.66으로 나타났으며, UrbanCLIP 보다 정확도가 높게 나타났다. 향후 검색 증강 생성 등을 적용하여 정확도를 향상시킬 필요가 있을 것이다.