基于记忆增强横向 Transformer 的 SpotFast 网络用于唇读
计算机视觉与模式识别
2020-05-25 v1 机器学习
摘要
本文提出了一种用于词级唇读的新型深度学习架构。先前的研究表明，引入预训练的深度三维卷积神经网络作为前端特征提取器具有潜力。我们引入了 SpotFast 网络，这是用于动作识别的先进 SlowFast 网络的一种变体，它利用时间窗口作为 spot 路径，并利用所有帧作为 fast 路径。我们进一步结合记忆增强横向 Transformer 来学习用于分类的序列特征。我们在 LRW 数据集上评估了所提出的模型。实验表明，我们提出的模型优于多种先进模型，且引入记忆增强横向 Transformer 使 SpotFast 网络的性能提升了 3.7%。
引用
@article{arxiv.2005.10903,
title = {SpotFast Networks with Memory Augmented Lateral Transformers for Lipreading},
author = {Peratham Wiriyathammabhum},
journal= {arXiv preprint arXiv:2005.10903},
year = {2020}
}