Multilevel perceptual conditional random field model for monocular depth estimation

目的从单幅影像中估计景深已成为计算机视觉研究热点之一，现有方法常通过提高网络的复杂度回归深度，增加了数据的训练成本及时间复杂度，为此提出一种面向单目深度估计的多层次感知条件随机场模型。方法采用自适应混合金字塔特征融合策略，捕获图像中不同位置间的短距离和长距离依赖关系，从而有效聚合全局和局部上下文信息，实现信息的高效传递。引入条件随机场解码机制，以此精细捕捉像素间的空间依赖关系。结合动态缩放注意力机制增强对不同图像区域间依赖关系的感知能力，引入偏置学习单元模块避免网络陷入极端值问题，保证模型的稳定性。针对不同特征模态间的交互情况，通过层次感知适配器扩展特征映射维度增强空间和通道交互性能，提高模型的特征学习能力。结果在NYU Depth v2（New York University depth dataset version 2）数据集上进行消融实验，结果表明，本文网络可以显著提高性能指标，相较于对比的先进方法，绝对相对误差（absolute relative error， Abs Rel）减小至0.1以内，降低7.4%，均方根误差（root mean square error， RMSE）降低5.4%。为验证模型在真实道路环境中的实用性，在KITTI（Karlsruhe Institute of Technology and Toyota Technological Institute at Chicago）数据集上进行对比实验，上述指标均优于对比的主流方法，其中RMSE降低3.1%，阈值（<inline-formula><alternatives><math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M1"><mi>δ</mi><mo>&lt;</mo><mn mathvariant="normal">1</mn><mo>.</mo><msup><mrow><mn mathvariant="normal">25</mn></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msup></math><graphic specific-use="big" xmlns:xlink="http://www.w3.org/1999/xlink" xlink:href="alternativeImage/7473CB0B-B596-4f65-B099-70B571BB3502-M001.jpg"><?fx-imagestate width="12.61533356" height="2.53999996"?></graphic><graphic specific-use="small" xmlns:xlink="http://www.w3.org/1999/xlink" xlink:href="alternativeImage/7473CB0B-B596-4f65-B099-70B571BB3502-M001c.jpg"><?fx-imagestate width="12.61533356" height="2.53999996"?></graphic></alternatives></inline-formula>， <inline-formula><alternatives><math xmlns:mml="http://www.w3.org/1998/Math/MathML" id="M2"><mi>δ</mi><mo>&lt;</mo><mn mathvariant="normal">1</mn><mo>.</mo><msup><mrow><mn mathvariant="normal">25</mn></mrow><mrow><mn mathvariant="normal">3</mn></mrow></msup><mo stretchy="false">)</mo></math><graphic specific-use="big" xmlns:xlink="http://www.w3.org/1999/xlink" xlink:href="alternativeImage/7473CB0B-B596-4f65-B099-70B571BB3502-M002.jpg"><?fx-imagestate width="13.97000027" height="3.21733332"?></graphic><graphic specific-use="small" xmlns:xlink="http://www.w3.org/1999/xlink" xlink:href="alternativeImage/7473CB0B-B596-4f65-B099-70B571BB3502-M002c.jpg"><?fx-imagestate width="13.97000027" height="3.21733332"?></graphic></alternatives></inline-formula>准确度接近100%，此外，在MatterPort3D数据集上验证了模型的泛化性。从可视化实验结果看，在复杂环境下本文方法可以更好地估计困难区域的深度。结论本文采用多层次特征提取器及混合金字塔特征融合策略，优化了信息在编码器和解码器间的传递过程，通过全连接解码获取像素级别的输出，能够有效提高单目深度估计精度。