基于关联网络的连续手语识别
计算机视觉与模式识别
2023-03-21 v3
摘要
人体轨迹是视频中识别动作的重要线索。在手语中，这类身体轨迹主要通过连续帧中的手和面部来传达。然而，当前连续手语识别（CSLR）的方法通常独立处理各帧，因而无法捕捉跨帧轨迹以有效识别手势。为应对这一局限，我们提出关联网络（CorrNet），显式地捕捉并利用跨帧的身体轨迹来识别手势。具体而言，首先提出一个关联模块，动态计算当前帧与相邻帧之间的关联图，以识别所有空间块的运动轨迹；随后提出一个识别模块，在这些关联图中动态强调身体轨迹。由此生成的特征能够获得局部时间运动的整体概览，从而识别手势。得益于其对身体轨迹的特别关注，CorrNet 在 PHOENIX14、PHOENIX14-T、CSL-Daily 和 CSL 四个大规模数据集上取得了新的最优精度。与以往时空推理方法的全面对比验证了 CorrNet 的有效性。可视化结果展示了 CorrNet 在强调相邻帧间人体轨迹方面的效果。
引用
@article{arxiv.2303.03202,
title = {Continuous Sign Language Recognition with Correlation Network},
author = {Lianyu Hu and Liqing Gao and Zekang Liu and Wei Feng},
journal= {arXiv preprint arXiv:2303.03202},
year = {2023}
}
备注
CVPR2023, Camera ready version. code: https://github.com/hulianyuyy/CorrNet. Made few modifications on explanations. arXiv admin note: text overlap with arXiv:2211.17081