去除头部运动对视听语音增强的影响
声音
2022-02-03 v2 计算机视觉与模式识别
音频与语音处理
摘要
本文研究了头部运动对视听语音增强（AVSE）的影响。尽管头部运动是常见的会话特征，但过去和近期的研究均忽略了它：头部运动对当今基于学习的方法提出了挑战，因为它们常常使在干净、正面且静止的人脸图像上训练的模型性能下降。为缓解此问题，我们提出将鲁棒人脸正面化（RFF）与基于变分自编码器（VAE）模型的 AVSE 方法结合使用。我们简要描述了所提流程的基本组成，并使用最近发布的视听数据集进行了实验。根据这些实验，并基于三个标准指标，即 STOI、PESQ 和 SI-SDR，我们得出结论：RFF 大幅提升了 AVSE 的性能。
引用
@article{arxiv.2202.00538,
title = {The impact of removing head movements on audio-visual speech enhancement},
author = {Zhiqi Kang and Mostafa Sadeghi and Radu Horaud and Xavier Alameda-Pineda and Jacob Donley and Anurag Kumar},
journal= {arXiv preprint arXiv:2202.00538},
year = {2022}
}