用于从模糊中恢复真实世界运动的模糊插值 Transformer
计算机视觉与模式识别
2023-03-08 v2
摘要
本文研究从模糊中恢复运动的极具挑战性问题，也称为联合去模糊与插值或模糊时间超分辨率。挑战有两方面：1）当前方法即使在合成数据集上在视觉质量方面仍有相当大的改进空间；2）对真实世界数据泛化能力差。为此，我们提出模糊插值 Transformer（BiT）以有效解析编码在模糊中的潜在时间相关性。基于多尺度残差 Swin transformer 块，我们引入双端时间监督和时序对称集成策略，为时变运动渲染生成有效特征。此外，我们设计了一套混合相机系统来采集首个真实世界的一对多模糊-清晰视频对数据集。实验结果表明，BiT 在公开数据集 Adobe240 上相比最先进方法（SOTA）有显著增益。此外，所提出的真实世界数据集有效帮助模型很好地泛化到真实模糊场景。代码和数据发布于 https://github.com/zzh-tech/BiT。
引用
@article{arxiv.2211.11423,
title = {Blur Interpolation Transformer for Real-World Motion from Blur},
author = {Zhihang Zhong and Mingdeng Cao and Xiang Ji and Yinqiang Zheng and Imari Sato},
journal= {arXiv preprint arXiv:2211.11423},
year = {2023}
}
备注
Accepted by CVPR2023