基于密集连接时序卷积网络的唇读
计算机视觉与模式识别
2022-09-30 v3
摘要
在这项工作中，我们提出用于孤立词唇读的密集连接时序卷积网络（DC-TCN）。尽管时序卷积网络（TCN）近来在许多视觉任务中展现出巨大潜力，但其感受野不够密集，难以建模唇读场景中的复杂时间动态。为解决该问题，我们在网络中引入密集连接以捕获更鲁棒的时间特征。此外，我们的方法利用轻量级注意力机制 Squeeze-and-Excitation 模块进一步增强模型的分类能力。无需额外技巧，我们的 DC-TCN 方法在 Lip Reading in the Wild（LRW）数据集上取得了 88.36% 的准确率，在 LRW-1000 数据集上取得了 43.65% 的准确率，超越了所有基线方法，并成为两个数据集上的新 SOTA（state-of-the-art）。
引用
@article{arxiv.2009.14233,
title = {Lip-reading with Densely Connected Temporal Convolutional Networks},
author = {Pingchuan Ma and Yujiang Wang and Jie Shen and Stavros Petridis and Maja Pantic},
journal= {arXiv preprint arXiv:2009.14233},
year = {2022}
}
备注
WACV 2021. An improved code implementation is available at: https://github.com/mpc001/Lipreading_using_Temporal_Convolutional_Networks