基于语义一致Transformer的无对齐HDR去重影方法
计算机视觉与模式识别
2023-09-29 v2
摘要
高动态范围(HDR)成像旨在从多个低动态范围输入中恢复信息以生成真实输出。其本质是利用包括动态与静态语义在内的上下文信息以获得更好的图像生成。现有方法常关注由前景和/或相机运动引起的输入帧间空间错位。然而,尚无研究同时联合利用动态与静态上下文。为深入探讨此问题,我们提出一种新颖的无对齐网络,即语义一致Transformer(SCTNet),其中网络包含空间与通道注意力模块。空间注意力旨在处理图像内相关性以建模动态运动,而通道注意力实现图像间交织以增强跨帧语义一致性。此外,我们引入了一个新颖的真实HDR数据集,其在前景物体、环境因素及更大运动上具有更多变化。在常规数据集及我们的数据集上的大量对比验证了方法的有效性,在性能与计算成本上取得了最佳权衡。
引用
@article{arxiv.2305.18135,
title = {Alignment-free HDR Deghosting with Semantics Consistent Transformer},
author = {Steven Tel and Zongwei Wu and Yulun Zhang and Barthélémy Heyrman and Cédric Demonceaux and Radu Timofte and Dominique Ginhac},
journal= {arXiv preprint arXiv:2305.18135},
year = {2023}
}
备注
Accepted to ICCV 2023. Version 2: Corrections are made to the conference proceedings to address issues with the production of our benchmark input. We have now updated Table 3 and Figure 6 to reflect these changes