基于关键帧 GAN 的视频会议感知质量提升
计算机视觉与模式识别
2023-11-09 v1
摘要
近年来，视频会议在人际关系中扮演了基础角色，无论个人还是商务用途。有损视频压缩算法是视频会议的实现技术，因其降低了实时视频流所需带宽。然而，有损视频压缩降低了感知视觉质量。因此，近年来提出了许多用于减少压缩伪影和提升视频视觉质量的技术。本工作中，我们提出一种基于GAN的新型方法，用于视频会议中的压缩伪影削减。鉴于在此场景下，说话者通常位于摄像机前且在传输全程保持不变，我们可维护一组来自视频流中传输的较高质量I帧的人物参考关键帧，并利用它们引导视觉质量提升；该方法的一个新颖之处是维护并更新一组紧凑且有效的参考关键帧的更新策略。首先，我们从压缩帧与参考帧中提取多尺度特征。随后，我们的架构依据面部标志点以渐进方式融合这些特征，从而恢复视频压缩后丢失的高频细节。实验表明，所提方法提升了视觉质量，即便在高压缩率下也能生成照片级真实感结果。代码与预训练网络公开于 https://github.com/LorenzoAgnolucci/Keyframes-GAN。
引用
@article{arxiv.2311.04263,
title = {Perceptual Quality Improvement in Videoconferencing using Keyframes-based GAN},
author = {Lorenzo Agnolucci and Leonardo Galteri and Marco Bertini and Alberto Del Bimbo},
journal= {arXiv preprint arXiv:2311.04263},
year = {2023}
}
备注
IEEE Transactions on Multimedia 2023 (IEEE TMM 2023)