ASL Citizen：一个用于推进孤立手语识别的社区众包数据集
计算机视觉与模式识别
2023-06-21 v2 计算与语言
摘要
全世界约有7000万聋人（D/deaf）以手语为主要语言。然而，大多数通信技术以口语和书面语运作，造成了获取上的不平等。为助力解决该问题，我们发布ASL Citizen，首个众包孤立手语识别（ISLR）数据集，在知情同意下收集，包含由52名手语者在多种环境中拍摄的2731个不同手势的83,399段视频。我们提议将该数据集用于美国手语（ASL）的手语词典检索，即用户向网络摄像头演示一个手势以从词典中检索匹配手势。我们表明，用本数据集训练监督式机器学习分类器，在推进与词典检索相关的指标上达到最优性能（SOTA），在完全由未出现在训练或验证集中的用户视频的评测中，取得63%准确率和91%的召回率-at-10（recall-at-10）。本文的无障碍PDF可于以下链接获取：https://aashakadesai.github.io/research/ASLCitizen_arxiv_updated.pdf
引用
@article{arxiv.2304.05934,
title = {ASL Citizen: A Community-Sourced Dataset for Advancing Isolated Sign Language Recognition},
author = {Aashaka Desai and Lauren Berger and Fyodor O. Minakov and Vanessa Milan and Chinmay Singh and Kriston Pumphrey and Richard E. Ladner and Hal Daumé and Alex X. Lu and Naomi Caselli and Danielle Bragg},
journal= {arXiv preprint arXiv:2304.05934},
year = {2023}
}