基于身份和时间互补学习的音频辅助人脸视频修复
计算机视觉与模式识别
2025-08-07 v1 多媒体
声音
音频与语音处理
摘要
伴随音频的人脸视频已成为我们日常生活中不可或缺的部分，但它们常常 suffer from complex degradations。大多数 face video restoration 方法忽略了视觉特征与音频特征之间的内在相关性，尤其是在嘴部区域。已有少数音频辅助 face video restoration 方法已提出，但它们只关注压缩伪影去除。在本文中，我们提出了通用音频辅助人脸视频修复网络（GAVN），以 address various types of streaming video distortions via identity and temporal complementary learning。具体而言，GAVN first 在低分辨率空间中捕获 inter-frame temporal features 以粗略恢复帧并节省计算成本。然后，GAVN 通过音频信号和面部关键点在高分辨率空间中提取 intra-frame identity features 以恢复更多面部细节。最后，reconstruction module 将 temporal features 和 identity features 集成以生成高质量 face video。实验结果表明，GAVN 在 face video compression artifact removal、deblurring 和 super-resolution 上优于 existing state-of-the-art methods。发布后将发布代码。
引用
@article{arxiv.2508.04161,
title = {Audio-Assisted Face Video Restoration with Temporal and Identity Complementary Learning},
author = {Yuqin Cao and Yixuan Gao and Wei Sun and Xiaohong Liu and Yulun Zhang and Xiongkuo Min},
journal= {arXiv preprint arXiv:2508.04161},
year = {2025}
}