基于教学视频的手语翻译
计算与语言
2023-04-17 v2 计算机视觉与模式识别
摘要
自动手语翻译（SLT）为口语的研究进展大多在规模有限且领域受限的数据集上进行了基准测试。我们的工作通过在大型且广泛的数据集 How2Sign 上提供首个基线结果推进了技术水平。我们在 I3D 视频特征上训练 Transformer，使用 reduced BLEU 作为验证的参考指标，而非广泛使用的 BLEU 分数。我们报告了 BLEU 分数 8.03 的结果，并发布了此类首个开源实现以促进进一步进展。
引用
@article{arxiv.2304.06371,
title = {Sign Language Translation from Instructional Videos},
author = {Laia Tarrés and Gerard I. Gállego and Amanda Duarte and Jordi Torres and Xavier Giró-i-Nieto},
journal= {arXiv preprint arXiv:2304.06371},
year = {2023}
}
备注
Paper accepted at WiCV @CVPR23