SSL-SSAW：基于 sigmoid 自注意力加权的问答式手语翻译自监督学习
计算与语言
2025-09-18 v1 人工智能
摘要
手语翻译 (SLT) 填补了听障人士与健听人士之间的沟通鸿沟，其中对话提供了关键的上下文线索，有助于提升翻译质量。基于这一基本概念，本文提出基于问题的手语翻译 (QB-SLT)，一种探索高效整合对话的新颖任务。不同于手语注释（文字转录），对话在沟通中自然发生且更易标注。关键挑战在于在利用问题上下文改善翻译的同时，对齐多模态特征。为此，我们提出一种基于 Sigmoid 自注意力加权的跨模态自监督学习 (SSL-SSAW) 融合方法。具体而言，我们采用对比学习对齐 QB-SLT 中的多模态特征，然后引入 Sigmoid 自注意力加权 (SSAW) 模块，对问题和手语序列进行自适应特征提取。此外，我们利用可用的问题文本进行自监督学习，以增强表示和翻译能力。我们在新构建的 CSL-Daily-QA 和 PHOENIX-2014T-QA 数据集上进行评估，SSL-SSAW 实现了 SOTA 性能。值得注意的是，易于获取的问答辅助可实现或甚至超越手语注释辅助的性能。此外，可视化结果表明，将对话纳入翻译流程在提高翻译质量方面效果显著。
引用
@article{arxiv.2509.14036,
title = {SSL-SSAW: Self-Supervised Learning with Sigmoid Self-Attention Weighting for Question-Based Sign Language Translation},
author = {Zekang Liu and Wei Feng and Fanhua Shang and Lianyu Hu and Jichao Feng and Liqing Gao},
journal= {arXiv preprint arXiv:2509.14036},
year = {2025}
}