DAP-LED：利用CLIP学习退化感知先验以联合实现低光增强与去模糊
计算机视觉与模式识别
2024-09-23 v1 人工智能
摘要
由于RGB相机在低光照条件下需要长曝光时间，导致图像亮度不足并产生运动模糊，自动驾驶车辆和机器人在夜间往往难以实现可靠的视觉感知。现有方法通过顺序连接现成的预训练低光增强模型和去模糊模型来解决这一挑战。然而，这些方法通常会在过曝区域引入明显伪影（例如颜色失真），或者难以学习暗区域的运动线索。本文有趣地发现，视觉语言模型（例如对比语言-图像预训练，CLIP）能够全面感知夜间不同的退化程度。鉴于此，我们提出了一种新颖的基于Transformer的联合学习框架，命名为DAP-LED，它可以联合实现低光增强和去模糊，从而惠及下游任务，如暗光环境下的深度估计、分割和检测。其关键洞察在于利用CLIP自适应地学习夜间图像的退化程度。这巧妙地使得模型能够学习丰富的语义信息和视觉表示，以优化联合任务。为实现此目标，我们首先引入一个CLIP引导的交叉融合模块，从图像嵌入中获取多尺度的逐块退化热力图。然后，通过设计的CLIP增强型Transformer块融合这些热力图，以保留有用的退化信息，从而实现有效的模型优化。实验结果表明，与现有方法相比，我们的DAP-LED在暗光环境下达到了最先进的性能。同时，增强结果被证明对三个下游任务有效。有关演示和更多结果，请查看项目页面：\url{https://vlislab22.github.io/dap-led/}。
引用
@article{arxiv.2409.13496,
title = {DAP-LED: Learning Degradation-Aware Priors with CLIP for Joint Low-light Enhancement and Deblurring},
author = {Ling Wang and Chen Wu and Lin Wang},
journal= {arXiv preprint arXiv:2409.13496},
year = {2024}
}