面向真实世界视频去噪：一个实用视频去噪数据集与网络
计算机视觉与模式识别
2022-12-02 v2
摘要
为推进视频去噪研究，我们构建了一个引人注目的数据集，即“实用视频去噪数据集”（PVDD），包含 200 对 sRGB 与 RAW 格式的含噪-干净动态视频对。与现有由有限运动信息组成的数据集相比，PVDD 涵盖具有变化且自然运动的动态场景。不同于主要在 sRGB 域使用高斯或泊松分布合成噪声的数据集，PVDD 采用具有物理意义的传感器噪声模型并经 ISP 处理，从 RAW 域合成真实噪声。此外，我们还提出了一种称为循环视频去噪 Transformer（RVDT）的新视频去噪框架，该框架在 PVDD 及其他当前视频去噪基准上均可达到 SOTA 性能。RVDT 由空间与时间 transformer 块组成，以在空域上进行长距离操作、在时域上进行长期传播来完成去噪。特别地，RVDT 利用注意力机制实现具有隐式与显式时间建模的双向特征传播。大量实验表明：1）在 PVDD 上训练的模型比在其他现有数据集上训练的模型在许多具挑战性的真实世界视频上具有更优去噪性能；2）在相同数据集上训练时，我们提出的 RVDT 比其他类型网络具有更好的去噪性能。
引用
@article{arxiv.2207.01356,
title = {Towards Real-World Video Denosing: A Practical Video Denosing Dataset and Network},
author = {Xiaogang Xu and Yitong Yu and Nianjuan Jiang and Jiangbo Lu and Bei Yu and Jiaya Jia},
journal= {arXiv preprint arXiv:2207.01356},
year = {2022}
}
备注
Under submission