基于注意力引导渐进式神经纹理融合的高动态范围图像复原
图像与视频处理
2022-04-13 v1 计算机视觉与模式识别
摘要
通过多曝光融合实现高动态范围（HDR）成像是大多数现代成像平台的一项重要任务。尽管硬件与算法创新近期有所发展，但由饱和、运动以及多曝光融合过程中引入的鬼影、噪声和模糊等各类伪影所导致的内容关联歧义仍是挑战。在本工作中，我们提出一种注意力引导渐进式神经纹理融合（APNT-Fusion）HDR复原模型，旨在于单一框架内解决这些问题。我们提出了一种高效双流结构，分别专注于饱和区域的纹理特征迁移以及多曝光色调与纹理特征融合。提出一种神经特征迁移机制，基于掩蔽饱和HDR域中的多尺度VGG特征建立不同曝光间的空间对应关系，以获取歧义图像区域上的判别性上下文线索。设计了一种渐进式纹理混合模块，以多尺度渐进方式融合编码后的双流特征。此外，我们引入了若干新颖的注意力机制：运动注意力模块检测并抑制参考图像间的内容差异；饱和注意力模块有助于区分由饱和引起的错位与由运动引起的错位；尺度注意力模块确保不同编码器/解码器尺度间的纹理混合一致性。我们进行了全面的定性与定量评估及消融实验，验证了这些新颖模块在同一框架下协同工作并优于现有最优方法。
引用
@article{arxiv.2107.06211,
title = {Attention-Guided Progressive Neural Texture Fusion for High Dynamic Range Image Restoration},
author = {Jie Chen and Zaifeng Yang and Tsz Nam Chan and Hui Li and Junhui Hou and Lap-Pui Chau},
journal= {arXiv preprint arXiv:2107.06211},
year = {2022}
}