Real-time Digital Human Automatic Generation Architecture Study of Synthetic Training Environments (STEs) Using Generative AI: Focusing on Multimodal Recognition and Representation

본 연구는 생성형 인공지능(AI)과 멀티모달 인식 기술을 결합하여 실시간으로 현실적인 디지털 휴먼을 생성하는 아키텍처를 제안한다. 기존 합성훈련환경(STE)의 디지털 휴먼은 미리 설정된 스크립트와 제한적인 행동 패턴으로 인해 훈련 참여자의 현실감과 몰입도를 높이는 데 한계가 있었다. 본 연구에서는 이러한 한계를 극복하기 위해 멀티모달 기술을 활용하여 디지털 휴먼이 실시간으로 사용자의 발화 내용뿐 아니라 감정 상태, 제스처, 주변 환경 등 다양한 정보를 분석하여 상황을 정확하게 해석한다. 이 과정에서 생성형 AI는 복잡한 시나리오와 상황 변화를 반영한 창의적이고 예측 불가능한 반응을 실시간으로 생성한다. 이를 통해 디지털 휴먼은 실제 전투 상황에 가깝게 행동하며 훈련자의 현실감을 크게 향상시킨다. 또한, 예측이 어려운 동적 환경에 적응할 수 있는 능력을 갖추어 팀 단위 훈련은 물론 개별 훈련자의 전투 적응력과 신속한 의사결정 능력을 효과적으로 강화한다. 향후 연구는 시스템의 응답 속도를 높이기 위해 지연시간을 최소화하고, AI 모델의 처리 효율성을 더욱 향상시키는 것에 초점을 맞춘다. 아울러 전장 환경의 현실성을 극대화하기 위한 추가적인 환경 모델링과 시나리오 다양화를 추진하며, 훈련 시뮬레이션 소프트웨어(TSS)와 훈련 관리 도구(TMT)에서 제공하는 피드백 루프를 활용하여 디지털 휴먼의 반응과 행동 모델을 지속적으로 개선하는 방안을 연구할 것이다.