MBAFuse：红外与可见光图像的多分支自编码器融合网络

红外与可见光图像融合旨在生成同时包含红外图像热辐射信息与可见光图像细节纹理的融合图像。现有自编码器架构在处理多模态图像时多采用共享或独立编码器网络，难以同时有效提取共享特征与模态特有特征。为此，文中提出一种多分支自编码融合架构（MBAFuse），旨在提升红外与可见光图像融合的特征提取与图像重建能力。该方法采用三分支结构，利用密集连接模块提取共享特征，分别结合展望注意力（Outlook Attention）模块与可逆神经网络（INN）模块提取红外与可见光图像的高频与低频特征。同时，引入相关性损失函数以增强共享与特有特征的解耦能力，进一步聚焦于模态差异显著的高频细节。在训练阶段，构建综合损失函数，结合结构相似性损失、均方误差（MSE）损失、梯度损失与相关性损失，并采用两阶段训练策略优化融合性能。解码器部分引入基于多头注意力机制的Restormer模块以增强图像重建效果。在 TNO、MSRS 和 RoadScene 三个公开数据集上，MBAFuse 在定性与定量评估中大多优于现有主流方法。与现有多种主流图像融合方法相比，MBAFuse 在 TNO、MSRS 与 RoadScene 三个数据集上的多个客观指标（如 EN、SD、VIF）均取得显著提升，平均提升幅度分别达 10.2%、29.7% 和 7.5%，体现出良好的融合性能与鲁棒性。此外，MBAFuse 在医学图像和彩色图像融合任务中展现出良好的泛化能力。相关代码已在https://github.com/DMengHao/MBAFuse开源，便于复现与拓展应用。