POSESTITCH-SLT：基于语言学启发的姿态拼接端到端手语翻译
计算与语言
2025-11-04 v1 人工智能
计算机视觉与模式识别
机器学习
摘要
手语翻译因稀缺的大规模句子对齐数据集而具有挑战性。先前的方法聚焦于各种特征提取和架构变更以支持手语的神经机器翻译。我们提出POSESTITCH-SLT，这是一种受语言学模板驱动句子生成技术启发的新型预训练方案。通过在两个手语数据集（How2Sign和iSign）上的翻译比较，我们展示了在训练中使用模板生成的句子对时，基于Transformer的编码器-解码器架构超越了先前的方法。我们在How2Sign上实现了BLEU-4分数提升，从1.97提升至4.56，在iSign上实现了从0.55提升至3.43，超越了基于姿态的无词汇自由翻译的先前最先进方法。结果表明，模板驱动的合成监督在资源有限的手语环境中的有效性。
引用
@article{arxiv.2511.00270,
title = {POSESTITCH-SLT: Linguistically Inspired Pose-Stitching for End-to-End Sign Language Translation},
author = {Abhinav Joshi and Vaibhav Sharma and Sanjeet Singh and Ashutosh Modi},
journal= {arXiv preprint arXiv:2511.00270},
year = {2025}
}
备注
Accepted at EMNLP 2025 (Main)