NGT200 数据集：几何多视角隔离手势识别
计算机视觉与模式识别
2024-09-25 v1 计算与语言
摘要
手语处理 (SLP) 为语言技术的更包容未来提供了基础;然而，该领域面临若干重大挑战，必须加以解决以实现实际应用。本工作针对多视角隔离手势识别 (MV-ISR)，并强调 3D 感知和几何在 SLP 系统中的重要作用。我们引入 NGT200 数据集，这是一个新型时空多视角基准，使 MV-ISR 成为区别于单视角 ISR (SV-ISR) 的独立领域。我们展示了合成数据的优势，并提出了以手语中固有的空间对称性为条件来表示手势的方法。利用 SE(2) 等变模型可使 MV-ISR 性能提升 8%-22%。
引用
@article{arxiv.2409.15284,
title = {The NGT200 Dataset: Geometric Multi-View Isolated Sign Recognition},
author = {Oline Ranum and David R. Wessels and Gomer Otterspeer and Erik J. Bekkers and Floris Roelofsen and Jari I. Andersen},
journal= {arXiv preprint arXiv:2409.15284},
year = {2024}
}
备注
Proceedings of the Geometry-grounded Representation Learning and Generative Modeling Workshop (GRaM) at the 41 st International Conference on Machine Learning, Vienna, Austria. PMLR 251, 2024