基于 CNN 架构的在线会议低延迟视频去噪
图像与视频处理
2023-02-20 v1 计算机视觉与模式识别
摘要
本文提出一种具有低运行成本与高感知质量的实时视频去噪流水线。绝大多数去噪研究聚焦于图像去噪。然而，少数关注视频去噪的工作为获取更高质量并保持时间相干性，付出了更高的性能代价。本文引入的方法兼具图像与视频去噪架构之优势。我们的流水线首先使用 HI-GAN 盲图像去噪架构对关键帧或五分之一的帧进行去噪。随后，将剩余五分之四的含噪帧与去噪关键帧数据输入 FastDVDnet 视频去噪模型。最终输出实时渲染于用户显示屏。这些低延迟神经网络架构的组合实现了具有高感知质量的实时去噪，可应用于视频会议及其他实时媒体流系统。一个自定义噪声检测器分析器提供实时反馈以调整权重并改善模型输出。
引用
@article{arxiv.2302.08638,
title = {Low Latency Video Denoising for Online Conferencing Using CNN Architectures},
author = {Altanai Bisht and Ana Carolina de Souza Mendes and Justin David Thoreson and Shadrokh Samavi},
journal= {arXiv preprint arXiv:2302.08638},
year = {2023}
}
备注
8 pages 14 figures