面向孤立印度手势语言识别的层次化窗口图注意力网络及大规模数据集
计算机视觉与模式识别
2024-09-30 v2 计算与语言
摘要
自动手势语言（SL）识别是计算机视觉领域的重要任务。为了构建稳健的SL识别系统，我们需要相当大量的数据，而印度手势语言（ISL）尤其缺乏此类数据。本文我们引入一个大规模孤立ISL数据集和一个基于骨架图结构的新型SL识别模型。该数据集覆盖来自20名（10名男性、10名女性）盲人成年手势说话者（包含40033个视频）的日常使用的2002个常用单词。我们提出一种称为层次化窗口图注意力网络（HWGAT）的SL识别模型，通过利用人体上半身骨架图来实现。HWGAT试图通过对人体骨架图引起的不同身体部位所产生的注意力来捕获独特的运动。通过大量实验评估了所提数据集和模型的实用性。我们在所提数据集上预训练模型，然后在不同手势语言数据集上进行微调，显著提升了在INCLUDE、LSA64、AUTSL和WLASL上的性能分别提高了1.10、0.46、0.78和6.84个百分点。
关键词
引用
@article{arxiv.2407.14224,
title = {Hierarchical Windowed Graph Attention Network and a Large Scale Dataset for Isolated Indian Sign Language Recognition},
author = {Suvajit Patra and Arkadip Maitra and Megha Tiwari and K. Kumaran and Swathy Prabhu and Swami Punyeshwarananda and Soumitra Samanta},
journal= {arXiv preprint arXiv:2407.14224},
year = {2024}
}