VQCNIR：基于向量量化码本的清晰夜间图像恢复
计算机视觉与模式识别
2023-12-19 v2
摘要
夜间摄影经常面临低光照和模糊等挑战，这源于黑暗环境和长时间曝光。现有方法要么忽略先验并直接拟合端到端网络，导致光照不一致；要么依赖不可靠的人工设计先验来约束网络，从而给最终结果带来更大误差。我们坚信数据驱动的高质量先验的潜力，并致力于提供可靠且一致的先验，以规避人工先验的限制。在本文中，我们提出了基于向量量化码本的清晰夜间图像恢复(VQCNIR)，以在真实世界和合成基准上实现显著且一致的恢复结果。为确保细节和光照的忠实恢复，我们提出引入两个基本模块：自适应光照增强模块(AIEM)和可变形双向交叉注意力(DBCA)模块。AIEM 利用特征的通道间相关性，动态维持退化特征与高质量码本特征之间的光照一致性。同时，DBCA 模块通过双向交叉注意力和可变形卷积有效整合纹理与结构信息，从而在并行解码器中增强细粒度细节与结构保真度。大量实验验证了 VQCNIR 在低光照条件下提升图像质量的显著优势，展示了其在合成和真实世界数据集上的 SOTA 性能。代码可在 https://github.com/AlexZou14/VQCNIR 获取。
引用
@article{arxiv.2312.08606,
title = {VQCNIR: Clearer Night Image Restoration with Vector-Quantized Codebook},
author = {Wenbin Zou and Hongxia Gao and Tian Ye and Liang Chen and Weipeng Yang and Shasha Huang and Hongsheng Chen and Sixiang Chen},
journal= {arXiv preprint arXiv:2312.08606},
year = {2023}
}
备注
This paper is accepted by AAAI2024