中文

SDW-ASL:用于生成大规模连续美国手语数据集的动态系统

计算与语言 2022-10-14 v1 人工智能 计算机视觉与模式识别 机器学习

摘要

尽管近年来使用深度学习技术的自然语言处理取得了巨大进展,手语生成与理解却进展甚微。一个关键障碍是公开大规模数据集的缺乏,源于标注数据生成成本高昂。为美国手语(ASL)理解提供公开数据的努力已产出两个数据集,包含逾千段视频片段。这些数据集足以启动有意义的手语深度学习研究,但远小于任何可实际部署的解决方案所需。迄今仍无适用于 ASL 生成的合适数据集。我们提出一个可生成大规模连续 ASL 数据集的系统。它适用于通用 ASL 处理,尤其有益于 ASL 生成。该连续 ASL 数据集以压缩身体姿态数据格式包含英文标注的人体动作。为更好地服务研究界,我们发布首版 ASL 数据集,含 3 万句子、41.6 万词、1.8 万词词汇量,总时长 104 小时。就视频时长而言,这是迄今发布的最大连续手语数据集。我们还描述了一个可演进扩展该数据集以纳入更优数据处理技术与更多内容的系统。希望向公众发布此 ASL 数据集与可持续数据集生成系统,能推动 ASL 自然语言处理中更优的深度学习研究。

关键词

引用

@article{arxiv.2210.06791,
  title  = {SDW-ASL: A Dynamic System to Generate Large Scale Dataset for Continuous American Sign Language},
  author = {Yehong Jiang},
  journal= {arXiv preprint arXiv:2210.06791},
  year   = {2022}
}

备注

There are 9 pages, 3 figures and 1 table. The ASL dataset viewing system is at https://adeddb94ac1d.ngrok.io