融合图文特征对齐和文本解耦的输电线路螺栓缺陷分类方法

目的视觉-语言模型在缺乏视觉信息的输电线路螺栓缺陷分类中潜力巨大，然而以图像-文本对比学习为代表的视觉-语言模型预训练算法需要大规模的图像和文本数据，实际螺栓缺陷分类研究中数据规模通常较小且缺少丰富的描述文本。为提升视觉-语言模型在螺栓缺陷分类上的适配度，本文提出一种融合图文特征对齐和文本解耦的输电线路螺栓缺陷分类方法。方法首先，本文深入分析了图像-文本对比学习不适配螺栓缺陷分类任务的原因，归结为类内语义重叠的影响；然后，针对零样本CLIP模型中螺栓缺陷类间相似度较高的问题，提出文本特征解耦（text feature decoupling， TFD）损失函数使不同缺陷类别文本在特征空间有效解耦；在此基础之上，针对图像–文本对比学习中的类内语义重叠问题，提出适配螺栓缺陷分类的文本锚点引导的图像特征对齐方法（text-anchor guided visual feature alignment， TA-VFA），实现同类别图像和文本特征对齐。同时，为抑制过拟合问题并提升模型泛化能力，提出渐进式图像编码器微调策略（progressive fine-tuning for the image encoder，PFT），逐层解冻图像编码器的Transformer层参数以实现稳定适配。结果在螺栓缺陷数据集上的实验结果表明，VL-Bolt 模型能够有效降低类间相似度并实现图像文本特征对齐，分类准确率达到 92.2%，相比基线模型提升3.9%。同时，VL-Bolt在与CLIP-Adapter、WiSE-FT等迁移方法的对比中表现更优。相比于端到端微调，渐进式图像编码器微调策略能够有效稳定训练过程，抑制过拟合问题。进一步在Flowers102、StanfordCars 与 Caltech101 三个公开数据集上进行验证，VL-Bolt的准确率均较端到端微调模型取得显著提升，证明了该方法的鲁棒性。结论本文所提出的方法有效提升了视觉-语言模型在螺栓缺陷分类任务中的性能，为视觉-语言模型在输电线路巡检中的实际应用提供了新的思路。