基于上下文感知Transformer的高动态范围成像
计算机视觉与模式识别
2023-04-24 v4
摘要
在将低动态范围（LDR）图像合成为高动态范围（HDR）图像时避免引入重影是一项具有挑战性的任务。卷积神经网络（CNNs）通常对HDR去重影有效，但在存在大幅运动或过度饱和/欠饱和的LDR图像时难以处理。现有结合CNN与Transformer的双分支方法忽略了非参考图像的部分信息，且基于CNN的分支提取的特征受限于小感受野的核尺寸，不利于去模糊及过饱和/欠饱和区域的恢复。本文提出一种用于生成无重影HDR（HDT-HDR）图像的分层双Transformer新方法，可同时提取全局与局部特征。首先，我们使用带空间注意力机制的基于CNN的头部从所有LDR图像中提取特征。其次，LDR特征被送入分层双Transformer（HDT）。在每个双Transformer（DT）中，全局特征由基于窗口的Transformer提取，而局部细节则使用带可变形CNN的通道注意力机制提取。最后，通过对HDT输出进行维度映射获得无重影HDR图像。大量实验表明，我们的HDT-HDR在现有HDR去重影方法中达到了最先进的性能。
引用
@article{arxiv.2304.04416,
title = {High Dynamic Range Imaging with Context-aware Transformer},
author = {Fangfang Zhou and Dan Zhang and Zhenming Fu},
journal= {arXiv preprint arXiv:2304.04416},
year = {2023}
}
备注
8 pages, 5 figures