面向多语言唇读同步双向学习

唇读近年来受到越来越多的关注。本文关注多语言唇读的协同问题。世界上约有7000种语言，这意味着为每种语言使用大规模数据训练独立的唇读模型是不现实的。尽管每种语言有其自身的语言与发音规则，但由于人类器官结构相同，所有语言的唇部运动具有相似的模式。基于这一想法，本文尝试探索多语言唇读的协同学习，并进一步提出一种同步双向学习（SBL）框架以实现多语言唇读的有效协同。我们在此首次引入音素作为多语言设定下的建模单元。音素比字母更紧密地关联于唇部运动。同时，无论目标语言为何，相似的音素总是导致相似的视觉模式。随后，提出一种新颖的SBL模块，以填空方式学习每种语言的规则。具体而言，模型须学习在给定双向上下文的条件下推断目标单元，从而能够表征每种语言的音素组合规则。为使学习过程更具针对性地面向特定语言，在学习过程中引入了一个预测语言身份的额外任务。最后，在LRW（英语）与LRW-1000（普通话）上进行了充分对比，显示了不同语言协同学习带来的显著收益，并在两个数据集上均报告了新的state-of-the-art结果。