基于层次化时空图神经网络的手语翻译
计算机视觉与模式识别
2021-11-16 v1
摘要
手语翻译（SLT）从手语的视觉内容生成口语文本，对辅助听障群体交流十分重要。受神经机器翻译（NMT）启发，现有多数 SLT 研究采用通用的序列到序列学习策略。然而，SLT 与通用 NMT 任务有显著差异，因为手语通过多种视觉—手势层面传递信息。因此，本文将手语这些独特特征建模为层次化时空图表示，包括高层与细粒度图，其中顶点刻画特定身体部位，边表示其交互。具体而言，高层图表示手、脸等区域的模式，细粒度图考虑手部关节与面部区域标志点。为学习这些图模式，提出一种新颖深度学习架构，即层次化时空图神经网络（HST-GNN）。提出带邻域上下文的图卷积与图自注意力以刻画局部与全局图属性。在基准数据集上的实验结果证明了所提方法的有效性。
引用
@article{arxiv.2111.07258,
title = {Sign Language Translation with Hierarchical Spatio-TemporalGraph Neural Network},
author = {Jichao Kan and Kun Hu and Markus Hagenbuchner and Ah Chung Tsoi and Mohammed Bennamounm and Zhiyong Wang},
journal= {arXiv preprint arXiv:2111.07258},
year = {2021}
}