基于上下文感知 Transformer 的无重影高动态范围成像
计算机视觉与模式识别
2022-08-11 v1
摘要
高动态范围（HDR）去重影算法旨在生成具有真实细节的无重影 HDR 图像。受感受野局部性限制，现有基于 CNN 的方法在存在大幅运动与严重饱和时通常易产生重影伪影与亮度失真。本文中，我们提出一种新颖的上下文感知视觉 Transformer（CA-ViT）用于无重影高动态范围成像。CA-ViT 设计为双分支架构，可联合捕获全局与局部依赖。具体而言，全局分支采用基于窗口的 Transformer 编码器建模长距离物体运动与亮度变化以解决重影。对于局部分支，我们设计局部上下文提取器（LCE）捕获短距离图像特征，并利用通道注意力机制在提取的特征中选择信息丰富的局部细节以补充全局分支。通过将 CA-ViT 作为基本组件，我们进一步构建 HDR-Transformer，一种用于重建高质量无重影 HDR 图像的分层网络。在三个基准数据集上的大量实验表明，我们的方法在定性及定量上均优于 SOTA 方法，且计算开销显著降低。代码见 https://github.com/megvii-research/HDR-Transformer
引用
@article{arxiv.2208.05114,
title = {Ghost-free High Dynamic Range Imaging with Context-aware Transformer},
author = {Zhen Liu and Yinglong Wang and Bing Zeng and Shuaicheng Liu},
journal= {arXiv preprint arXiv:2208.05114},
year = {2022}
}
备注
ECCV 2022