中文

连拍图像复原与增强

计算机视觉与模式识别 2022-04-15 v2

摘要

现代手持设备可快速连续获取连拍图像序列。然而,所获取的单个帧因相机抖动和物体运动而遭受多种退化且未对齐。连拍图像复原的目标是通过有效结合多帧连拍中的互补线索来生成高质量输出。为此,我们开发了一种新方法,仅专注于连拍帧之间的有效信息交换,从而滤除退化而保留并增强真实场景细节。我们的核心思想是创建一组伪连拍特征,其结合所有输入连拍帧中的互补信息以无缝交换信息。然而,除非各连拍帧被正确对齐以消除帧间运动,否则伪连拍无法成功创建。因此,我们的方法最初从每帧连拍中提取预处理特征,并使用边缘增强的连拍对齐模块进行匹配。随后创建伪连拍特征并利用多尺度上下文信息予以丰富。我们最后一步是自适应地聚合来自伪连拍特征的信息,以在多阶段中逐步提升分辨率同时合并伪连拍特征。与通常遵循单阶段上采样的晚期融合方案的现有工作相比,我们的方法表现更优,在连拍超分辨率、连拍低光图像增强和连拍去噪任务上取得了最先进的性能。源代码与预训练模型可在 \url{https://github.com/akshaydudhane16/BIPNet} 获取。

关键词

引用

@article{arxiv.2110.03680,
  title  = {Burst Image Restoration and Enhancement},
  author = {Akshay Dudhane and Syed Waqas Zamir and Salman Khan and Fahad Shahbaz Khan and Ming-Hsuan Yang},
  journal= {arXiv preprint arXiv:2110.03680},
  year   = {2022}
}

备注

Accepted at CVPR 2022 [Oral]