Deep Learning based Multimodal Fusion on Biomedical Data: An Overview and State-of-Art Review

멀티모달은 여러 출처 또는 모달리티의 데이터를 조합하거나 통합하는 것이다. 멀티모달 데이터 통합은 이미징, 임상, 유전학 데이터 등 다양한 소스를 병합하여 환자의 건강에 대한 더 포괄적인 시각을 제공한다. 이 과정은 딥러닝에 의해 촉진되어 생체 의학 분야에서 중요한 기술로 자리 잡고 있으며, 환자의 건강에 대한 종합적인 이해를 가능하게 하고 개선된 의사 결정을 촉진한다. 이 연구는 멀티모달 데이터 통합 기술의 일반적인 파이프라인을 개괄적으로 설명한다. 먼저 다양한 유형의 생체 의학 데이터를 살펴보고 이러한 모달리티의 특징 추출 및 전처리 기술을 탐색한다. 또한, 데이터 수준, 특징 수준, 결정 수준의 융합 방법을 자세히 논의하며, 각각의 융합 접근 방식이 가장 효과적인 상황을 명시한다. 이 리뷰는 멀티모달 데이터 융합의 사용 사례와 기존 응용 프로그램을 다루며, 이들이 질병 진단, 예후, 치료 계획 및 개인 맞춤 의학에 미치는 영향을 강조한다.