基于神经压缩的特征学习用于视频复原
计算机视觉与模式识别
2022-04-12 v2 图像与视频处理
摘要
如何高效利用时序特征对视频复原至关重要，但也充满挑战。时序特征通常包含各种噪声和不相关信息，可能干扰当前帧的复原。本文提出学习噪声鲁棒的特征表示以辅助视频复原。我们的灵感来源于神经编解码器是一种天然的去噪器。在神经编解码器中，难以预测却耗费大量比特的噪声和不相关内容更倾向于为节省码率而被丢弃。因此，我们设计了一个神经压缩模块来过滤噪声，并为视频复原在特征中保留最有用的信息。为实现对噪声的鲁棒性，我们的压缩模块采用空间通道量化机制，自适应地确定隐空间中每个位置的量化步长。实验表明，我们的方法能显著提升视频去噪性能，仅用 0.23x FLOPs 便在 BasicVSR++ 上获得 0.13 dB 的提升。同时，我们的方法在视频去雨和去雾上也取得了 SOTA 结果。
引用
@article{arxiv.2203.09208,
title = {Neural Compression-Based Feature Learning for Video Restoration},
author = {Cong Huang and Jiahao Li and Bin Li and Dong Liu and Yan Lu},
journal= {arXiv preprint arXiv:2203.09208},
year = {2022}
}
备注
Accepted to CVPR 2022