用于图像融合与曝光校正的整体动态频率Transformer
计算机视觉与模式识别
2024-08-06 v2
摘要
曝光相关问题的校正是在提升图像质量中的关键组成部分,对各类计算机视觉任务具有重大意义。历史上,大多数方法主要利用空间域恢复,对频率域的潜力考虑有限。此外,对低光增强、曝光校正和多曝光融合缺乏统一视角,使图像处理优化复杂化并受阻。为应对这些挑战,本文提出一种利用频率域改进并统一处理曝光校正任务的新方法。我们的方法引入整体频率注意力与动态频率前馈网络,替代空间域中传统的关联计算。它们构成基础构建块,促成U形整体动态频率Transformer作为滤波器提取全局信息并动态选择重要频带以进行图像复原。作为补充,我们采用拉普拉斯金字塔将图像分解为不同频带,随后使用多个复原器,各自调谐以恢复特定频带信息。金字塔融合允许更细致入微的图像复原过程。最终,我们的结构统一了低光增强、曝光校正和多曝光融合三项任务,实现对各类经典曝光错误的全面处理。在针对这些任务的主流数据集上基准测试,我们提出的方法取得了最先进(state-of-the-art)结果,为曝光校正中更复杂且统一的解决方案铺平了道路。
引用
@article{arxiv.2309.01183,
title = {Holistic Dynamic Frequency Transformer for Image Fusion and Exposure Correction},
author = {Xiaoke Shang and Gehui Li and Zhiying Jiang and Shaomin Zhang and Nai Ding and Jinyuan Liu},
journal= {arXiv preprint arXiv:2309.01183},
year = {2024}
}