美国手语视频到文本翻译
计算与语言
2024-02-13 v1 计算机视觉与模式识别
摘要
手语到文本的翻译是一项能够打破听障人士沟通障碍的关键技术。我们复现并尝试改进一项近期发表的研究。我们使用 BLEU 和 rBLEU 指标评估模型，以确保翻译质量。在消融研究中，我们发现模型性能受优化器、激活函数和标签平滑的显著影响。进一步的研究旨在细化视觉特征捕获、增强解码器利用率，并集成预训练解码器以获得更好的翻译结果。我们的源代码已公开，以便于复现我们的结果并鼓励未来的研究。
引用
@article{arxiv.2402.07255,
title = {American Sign Language Video to Text Translation},
author = {Parsheeta Roy and Ji-Eun Han and Srishti Chouhan and Bhaavanaa Thumu},
journal= {arXiv preprint arXiv:2402.07255},
year = {2024}
}