深度神经网络能否学会唇读完整句子？
图像与视频处理
2018-05-31 v1 计算机视觉与模式识别
音频与语音处理
摘要
对于比约束良好词汇表更复杂的唇读任务，寻找视觉特征和合适模型一直具有挑战性。本文基于序列到序列循环神经网络探索用于唇读的最先进深度神经网络架构。我们报告了手工设计以及2D/3D卷积神经网络视觉前端、在线单调注意力，以及联合连接时序分类-序列到序列损失的结果。该系统在公开可用的TCD-TIMIT数据集上评估，包含59位说话人和超过6000词的词汇表。结果显示相较隐马尔可夫模型框架有显著改进。对跨视位（viseme）性能的更完整分析表明，网络不仅在学习语言模型，而且实际在学习唇读。
引用
@article{arxiv.1805.11685,
title = {Can DNNs Learn to Lipread Full Sentences?},
author = {George Sterpu and Christian Saam and Naomi Harte},
journal= {arXiv preprint arXiv:1805.11685},
year = {2018}
}
备注
Accepted at the 2018 IEEE International Conference on Image Processing (ICIP 2018)