Weakly supervised semantic segmentation based on affinity vector consistency

弱监督语义分割通常使用分类网络的主干部分提取图像特征生成类激活图. 在此过程中, CNN受限于其局部感知机制的影响, 很难捕获图像中长距离的语义关联. 相反, ViT具有全局自注意力机制, 能天然的捕获图像中长距离的特征依赖关系即亲和关系. 研究发现, 使用这种亲和关系细化类激活图提高分割精度被认为是可行的. 然而, 本文观察到, 在图像级标签监督训练下, ViT会促使图像中不同类Patch的亲和向量特征之间过相关, 其表现为亲和向量关系不对称和过平滑现象. 直接应用ViT原始亲和向量关系细化类激活图, 将导致不同类的对象区域相互入侵. 为了解决上述问题，基于CNN学习到的亲和向量关系表现与ViT学习到的亲和向量关系相反的性质, 即：对称且稀疏，本文提出了结合ViT和CNN两者的亲和向量一致性的弱监督语义分割方法。该方法先利用CNN提取图像中最具判别性的区域映射得到的类间关系以监督ViT中不同Patch亲和向量之间的类关系来学习图像上下文的一致性, 再使用学习到的Patch间亲和向量关系来改进用于后续分割的类激活图. 实验表明, 采用本文方法生成的亲和向量关系显著降低了不同类Patch间亲和向量的亲和度, 有效减少在修正CAM时不同类Patch间的错误激活, 在PSACAL VOC 2012和MS COCO 2014验证集上分别取得了75.1%和47.2%的MIoU, 进一步提高了分割性能.