Gated cross-modal aggregation network for multi-source remote sensing data classification

目的为了突破单一传感器的技术限制并弥补单一数据源应用的局限性，多源遥感数据融合成为了遥感应用领域的研究热点。当前的高光谱图像与激光雷达（light detection and ranging， LiDAR）/合成孔径雷达（synthetic aperture radar， SAR）数据融合分类方法未能充分利用高光谱图像的光谱特征以及LiDAR/SAR数据的地物结构信息。由于不同成像模态的图像在数据特性上存在本质差异，这些差异为多源图像特征的关联带来了重大挑战。尽管采用深度学习技术的一些方法在结合高光谱与LiDAR/SAR数据进行分类的任务中显示出了优秀的结果，但它们在融合过程中未能充分利用多源数据中的纹理信息和几何信息。方法为了应对这一关键问题，提出了一种基于门控注意力聚合网络的多源遥感图像分类方法，可以更加全面地挖掘多源数据中的互补信息。首先，设计了一个门控跨模态聚合模块，利用交叉注意力特征融合将LiDAR/SAR数据中的地物精细结构信息与高光谱图像特征有机融合。然后，使用精细化的门控模块将关键的LiDAR/SAR特征集成到高光谱图像特征中，从而增强多源数据的融合效果。结果在Houston2013和Augsburg数据集上与7种主流方法进行实验比较，在总体精度（overall accuracy，OA）、平均精度（average accuracy，AA）和卡帕系数（Kappa coefficient，Kappa）指标上都取得了最优表现。特别是在Augsburg数据集中，本文方法在大多数类别上均取得了最佳指标。在分类的可视化结果中可以明显看出，本文所提出的分类模型在性能上具有显著优势。结论实验结果表明，本文所提出的GCA-Net（gated cross-modal aggregation network）具有优异的性能，显著优于HCT（hierarchical CNN and Transformer）、MACN（mixing self-attention and convolutional network）等主流方法。该方法能够根据不同模态的特点充分融合不同模态的信息进行分类，为多源遥感数据的融合分类提供了理论支持。