用于连续手语识别的SlowFast网络
计算机视觉与模式识别
2023-09-22 v1
摘要
本工作的目标是为连续手语识别 (CSLR) 有效提取空间和动态特征。为此，我们利用双通路 SlowFast 网络，每条通路以不同的时间分辨率运行，分别捕获空间（手形、面部表情）和动态（运动）信息。此外，我们引入两种专为 CSLR 特性设计的独特特征融合方法：(1) 双向特征融合 (BFF)，促进动态语义与空间语义的相互迁移；(2) 通路特征增强 (PFE)，通过辅助子网络丰富动态和空间表示，同时避免额外的推理时间。因此，我们的模型并行进一步强化了空间和动态表示。我们证明所提框架在流行的 CSLR 数据集（包括 PHOENIX14、PHOENIX14-T 和 CSL-Daily）上优于当前最先进的性能。
引用
@article{arxiv.2309.12304,
title = {SlowFast Network for Continuous Sign Language Recognition},
author = {Junseok Ahn and Youngjoon Jang and Joon Son Chung},
journal= {arXiv preprint arXiv:2309.12304},
year = {2023}
}