基于混合 CNN-Transformer 与结构张量的无重影高动态范围成像
计算机视觉与模式识别
2022-12-02 v1 图像与视频处理
摘要
消除由运动物体引起的重影伪影是高动态范围（HDR）成像中的一个挑战性问题。在本文中，我们提出一种由卷积编码器与 Transformer 解码器组成的混合模型，以生成无重影的 HDR 图像。在编码器中，采用上下文聚合网络与非局部注意力模块来优化多尺度特征并捕获多张低动态范围（LDR）图像的全局与局部依赖关系。基于 Swin Transformer 的解码器用于提升所提模型的重建能力。受结构张量（ST）场下有无伪影的显著差异启发，我们将 LDR 图像的结构张量信息作为网络的辅助输入，并使用 ST 损失进一步约束伪影。与以往方法不同，我们的网络能够处理任意数量的输入 LDR 图像。定性与定量实验通过与现有最先进 HDR 去重影模型进行比较，证明了所提方法的有效性。代码见 https://github.com/pandayuanyu/HSTHdr。
引用
@article{arxiv.2212.00595,
title = {Ghost-free High Dynamic Range Imaging via Hybrid CNN-Transformer and Structure Tensor},
author = {Yu Yuan and Jiaqi Wu and Zhongliang Jing and Henry Leung and Han Pan},
journal= {arXiv preprint arXiv:2212.00595},
year = {2022}
}