Multiscale image deblurring based on prompt learning and gated feedforward networks

目的针对传统基于深度学习的去模糊方法存在的伪影明显、细节模糊和噪声残留等问题，提出一种基于提示学习的多尺度图像去模糊新方法。方法首先，在详细分析传统去模糊方法的基础上，引入基于提示学习的特定退化信息编码模块，利用退化信息中包含的上下文信息来动态地引导深度网络以更有效地完成去模糊任务。其次，设计了新的门控前馈网络，通过控制各个层级的信息流动构建更为丰富和更具层次结构的特征表示，从而进一步提高对复杂数据的理解和处理能力，以更好地保持结果图像的几何结构。另外，新方法引入了经典的总变差正则来抑制去模糊过程中的噪声残留，以提高结果图像的视觉表现。结果基于GoPro和REDS（the realistic and diverse scenes）数据集的大量实验结果表明，与其他先进的基于深度学习的去模糊方法相比，本文方法在图像去模糊方面取得了更好的效果。在峰值信噪比（peak signal-to-noise ratio， PSNR）和结构相似性（structural similarity， SSIM）指标上，本文方法在GoPro数据集上分别达到33.04 dB和0.962的最优结果。在REDS数据集上分别达到28.70 dB和0.859的结果。并且，相比SAM-deblur（segment anything model-deblur）方法，PSNR提升了1.77 dB。结论相较于其他的去模糊方法，本文方法不仅能够较好地保持结果图像的细节信息，而且还能够有效地克服伪影明显和噪声残留的问题，所得结果图像在PSNR和SSIM等客观评价指标方面均有更好的表现。