一种高效的面部视频超分辨率网络设计
计算机视觉与模式识别
2021-09-29 v1 人工智能
摘要
人脸视频超分辨率算法旨在通过连续的输入视频序列重建逼真的人脸细节。然而,现有的视频处理算法通常包含冗余参数以保证不同的超分辨率场景。在本工作中,我们专注于原始视频场景中人脸区域的超分辨率,而其余区域采用插值处理。这一特定的超分辨率任务使得削减通用视频超分辨率网络中的冗余参数成为可能。我们构建了一个完全由人脸视频序列组成的数据集用于网络训练与评估,并在实验中进行了超参数优化。我们采用三种组合策略,以同步训练-评估方法优化网络参数,从而加速优化过程。结果表明,同步训练-评估方法提升了训练速度并有助于生成高效网络。所生成的网络可至少减少 52.4% 的参数和 20.7% 的 FLOPs,在 PSNR、SSIM 上相比当前最优(state-of-art)视频超分辨率算法取得更优性能。在处理 36x36x1x3 输入视频帧序列时,该高效网络提供 47.62 FPS 的实时处理性能。我们将所提方法命名为人脸视频超分辨率的超参数优化(HO-FVSR),其开源代码位于 https://github.com/yphone/efficient-network-for-face-VSR。
引用
@article{arxiv.2109.13626,
title = {An Efficient Network Design for Face Video Super-resolution},
author = {Feng Yu and He Li and Sige Bian and Yongming Tang},
journal= {arXiv preprint arXiv:2109.13626},
year = {2021}
}
备注
8 pages, 7 figures, conference workshop