通过深度通道先验的无监督特征增强模块提升真实退化下的视觉识别

自动驾驶车辆在正常条件下的环境感知在过去十年取得了显著成功。然而，各种不利条件如雾、低光照和运动模糊会降低图像质量，并对自动驾驶安全构成巨大威胁。也就是说，当应用于退化图像时，最先进的视觉模型常常由于捕获图像的统计和结构特性破坏导致的特征内容丢失和伪影干扰而性能下降。为了解决这个问题，本文提出了一种新颖的深度通道先验（DCP）用于退化视觉识别。具体来说，我们观察到，在预训练模型的深度表示空间中，具有相同退化类型的退化特征的通道相关性具有均匀分布，即使它们具有不同的内容和语义，这可以促进高稀疏特征空间中退化表示与清晰表示之间的映射关系学习。基于此，我们提出了一种新颖的即插即用无监督特征增强模块（UFEM）来实现无监督特征校正，其中在UFEM的第一阶段引入多对抗机制以实现高稀疏特征空间中的潜在内容恢复和伪影去除。然后，生成的特征被转移到第二阶段，在DCP指导下进行全局相关性调制，以获得高质量且对识别友好的特征。在三个任务和八个基准数据集上的评估表明，我们的方法可以全面改善预训练模型在真实退化条件下的性能。源代码可在https://github.com/liyuhang166/Deep_Channel_Prior获取。