LLVD：基于 LSTM 的显式潜在空间运动建模用于盲目视频去噪
计算机视觉与模式识别
2025-01-13 v1 机器学习
摘要
视频修复在通过纠正由捕获过程中引入的各种退化 (传感器噪声、运动模糊等)、保存/共享 (压缩、缩放等) 和编辑引入的瑕疵来提升视频内容的视觉质量方面发挥着关键作用。本文引入了一种新型算法，旨在针对在视频捕获期间引入噪声的场景，提高视频的视觉质量。我们提出了潜在空间 LSTM 视频去噪器 (LLVD)，一种端到端的盲去噪模型。LLVD 独特地结合了空间与时间特征提取，在编码特征域中采用长短期记忆 (LSTM)。这种将 LSTM 层集成到编码特征域中以处理帧的方法对于维持连续性并最小化恢复视频中的闪烁至关重要。此外，在编码特征域中处理帧显著减少了计算量， resulting in 一个非常轻量级的体系结构。LLVD 的盲方法使其能够适用于实世界的盲去噪场景，在此类场景中没有关于噪声特征的先验信息。实验结果表明，LLVD 在合成噪声和真实噪声方面都表现出色。具体而言，LLVD 在 RAW 去噪中超越了当前的最先进技术 (SOTA) 0.3dB，而且还实现了 59% 的计算复杂度降低。
引用
@article{arxiv.2501.05744,
title = {LLVD: LSTM-based Explicit Motion Modeling in Latent Space for Blind Video Denoising},
author = {Loay Rashid and Siddharth Roheda and Amit Unde},
journal= {arXiv preprint arXiv:2501.05744},
year = {2025}
}