德语单词从嘴部运动识别的深度学习算法开发与评估

阅读嘴部动作时，许多人受益于说话者嘴部动作的额外视觉信息，但该方法误差较大。基于人工神经网络的嘴部阅读算法显著提高了单词识别，但目前尚无针对德语语言的算法。本文选取了 1806 个仅包含单位德语说话者的视频片段，使用语音识别软件将其分割为单词段并分配到单词类别。在 38,391 个视频段（32 位说话者）中，使用 18 个多音节、视觉可区分的单词进行训练和验证。比较了 3D 卷积神经网络和门控循环单元模型，以及两者的组合模型（GRUConv），并考察了不同视频图像区域和颜色空间的效果。在 5000 个训练周期中确定准确率。颜色空间的比较未发现 69%~72% 范围内不同正确分类率。裁剪至嘴部区域时，准确率显著提高至 70%，而裁剪至整张说话者面部仅为 34%。在已知说话者情况下的 GRUConv 模型准确率最高可达 87%，未知说话者验证准确率为 63%。该用于德语的嘴部阅读神经网络显示出极高的准确率，相当于英语语言算法，能够与未知说话者共用，并可通过增加单词类别进行泛化。