面向鲁棒唇形同步的数据标准化

唇形同步(lip sync)是一项基础的音视频任务。然而，现有唇形同步方法在真实场景中的鲁棒性不足。一个重要原因可能是视觉输入侧的干扰因素，使得提取唇部运动信息变得困难。为解决这些问题，本文提出一种数据标准化流程，以对唇形同步的视觉输入进行标准化。基于近期三维人脸重建的进展，我们首先创建一个模型，能够一致地将唇部运动信息从原始图像中解耦。随后，利用解耦出的唇部运动信息合成标准化图像，并将所有与干扰因素相关的其他属性设为与输入无关的预定义值，以降低其影响。利用合成图像，现有唇形同步方法提升了数据效率与鲁棒性，并在活跃说话人检测任务中取得了具有竞争力的性能。