Improved ResNet VAE-GAN 3D Object Creation System using Residual Blocks

3D 모델링은 게임, AR, VR, 메타버스 등 다양한 분야에서 활용되고 있다. 최근 컴퓨터 하드웨어의 성능 향상으로 3D 공간에서의 시각화와 연산이 가속화되고 있으며, GAN 기술의 진보로 3D 객체를 생성하는 방법이 연구되고 있다. GAN 기반 네트워크는 이미지를 입력으로 받아 복셀(Voxel)을 생성하고, Wasserstein 손실 함수 도입 및 그래디언트 패널티 적용을 통해 학습하는 3D-VAE-IWGAN 방식을 제안하였다. GAN은 훈련에 포함되지 않은 여러 모델을 생성할 수 있지만, 아티팩트가 생기는 문제가 있다. 또 다른 방식으로는 2D에서 지도 학습하고 3D에서는 비지도 학습을 통해 3D 레이블 생성 비용을 줄인 DIB-R과 같은 네트워크가 제안되었다. DIB-R은 아티팩트를 줄일 수 있지만, 오토인코더 기반 네트워크로는 다양한 모델을 생성하기 어렵다. 본 논문은 3D-VAE-IWGAN에서 성능을 높인 Variational Autoencoder(VAE)와 Generative Adversarial Network(GAN)을 결합한 VAE-GAN에 잔차블록(Residual block)을 적용하는 방법을 제안하며 이미지 생성자와 판별자에 더 많은 특징을 추출하여 고품질 이미지 생성 및 잠재 공간 보간 성능이 향상된 시스템을 제안한다. 기존 네트워크와 비교한 결과는 의자 클래스에서 137.15로 116.33% 더 나은 결과를 보였고 침대에서도 137.24로 130.4%로 향상된 결과를 보였다.