探索真实与合成数据集及线性注意力在图像修复中的应用
计算机视觉与模式识别
2024-12-12 v2
摘要
图像修复（IR）旨在从退化输入中恢复高质量图像，近期深度学习技术显著提升了性能。然而，现有方法缺乏统一的训练基准用于迭代次数和配置。我们还发现了常见IR训练和测试数据集中图像复杂度分布之间偏差，导致恢复效果次优。为此，我们引入了大型IR数据集ReSyn，该数据集采用基于图像复杂度的新型图像过滤方法，确保分布均衡，包含真实图像和AIGC合成图像。我们建立了统一的训练标准，规定图像修复模型的迭代次数和配置，重点衡量模型收敛性和恢复能力。此外，我们通过提出RWKV-IR，增强了基于Transformer的图像修复模型，采用线性注意力机制，将线性复杂度RWKV集成到Transformer结构中，实现全局和局部感受野。我们不直接使用Vision-RWKV，而是将RWKV中的原始Q-Shift替换为深度可分离卷积Shift，以更好地建模局部依赖关系，结合双向注意力实现全面线性注意力。我们还引入Cross-Bi-WKV模块，将两个不同扫描顺序的Bi-WKV模块合并，以实现水平和垂直注意力的均衡。大量实验验证了我们RWKV-IR模型的有效性。
引用
@article{arxiv.2412.03814,
title = {Exploring Real&Synthetic Dataset and Linear Attention in Image Restoration},
author = {Yuzhen Du and Teng Hu and Jiangning Zhang and Ran Yi Chengming Xu and Xiaobin Hu and Kai Wu and Donghao Luo and Yabiao Wang and Lizhuang Ma},
journal= {arXiv preprint arXiv:2412.03814},
year = {2024}
}