基于形变流双流网络的唇读方法

唇读是通过分析说话时唇部区域的运动来识别语音内容的任务。观察到说话过程中相邻帧的连续性，以及不同说话人发相同音素时运动模式的一致性，我们将说话过程中的唇部运动建模为唇部区域中一系列表观形变。具体而言，我们引入形变流网络（DFN）来学习相邻帧之间的形变流，其直接捕捉唇部区域内的运动信息。随后将学到的形变流与原始灰度帧通过双流网络结合以执行唇读。与以往双流网络不同，我们使两流在学习过程中通过引入双向知识蒸馏损失联合训练两个分支而相互学习。得益于不同分支提供的互补线索，双流网络相比单独使用任一分支有显著提升。我们在两个大规模唇读基准上进行了详尽的实验评估并给出细致分析。结果符合我们的动机，并表明我们的方法在这两个具挑战性数据集上取得了最优或相当的性能。