端到端手语翻译新数据集：希腊小学数据集
计算与语言
2023-10-10 v1 计算机视觉与模式识别
机器学习
摘要
自动手语翻译（SLT）是具有重大社会影响的研究方向。端到端 SLT 促进了听障人士（HoH）与听力正常人群的交流，从而改善其社会生活与参与机会。然而，该框架内的研究尚处起步阶段，当前资源尤为有限。现有 SLT 方法要么翻译能力低下，要么在词汇受限且现实价值存疑的数据集上训练与评估。典型例子是 Phoenix2014T 基准数据集，其仅涵盖德国手语天气预报。为缓解资源短缺，我们引入了基于希腊小学官方教学大纲构建的 29653 对希腊手语视频-翻译新数据集。我们的数据集涵盖广泛主题。我们利用该新颖数据集训练 SLT 研究中广泛使用的近期先进基于 Transformer 的方法。结果表明，我们所引入的数据集通过提供可用性与现实价值间的良好平衡，具备推动 SLT 研究的潜力。
引用
@article{arxiv.2310.04753,
title = {A New Dataset for End-to-End Sign Language Translation: The Greek Elementary School Dataset},
author = {Andreas Voskou and Konstantinos P. Panousis and Harris Partaourides and Kyriakos Tolias and Sotirios Chatzis},
journal= {arXiv preprint arXiv:2310.04753},
year = {2023}
}
备注
ICCVW2023 - ACVR