基于循环神经网络与3D Kinect数据的位置及旋转不变手语识别
计算机视觉与模式识别
2025-02-19 v4 人机交互
摘要
手语是听障与语障人群之间基于手势的符号交流媒介，同时也充当了健全人与障碍人群之间的沟通桥梁。遗憾的是，在大多数情况下，健全人并不熟悉此类符号语言，限制了这两类人群之间的自然信息流动。因此，一种能够将手语无缝翻译为自然语言的自动化机制将极具优势。本文尝试对30种基本印度手语手势进行识别。手势表示为3D地图（RGB + 深度）的时间序列，每帧包含由Kinect传感器捕获的20个身体关节的3D坐标。我们采用循环神经网络（RNN）作为分类器。为提升分类器性能，我们使用几何变换对深度帧进行对齐校正。在实验中，该模型达到了84.81%的准确率。
引用
@article{arxiv.2010.12669,
title = {Position and Rotation Invariant Sign Language Recognition from 3D Kinect Data with Recurrent Neural Networks},
author = {Prasun Roy and Saumik Bhattacharya and Partha Pratim Roy and Umapada Pal},
journal= {arXiv preprint arXiv:2010.12669},
year = {2025}
}
备注
10 pages