探索更多引导：一种基于数据增强的任务感知指令网络用于手语翻译
计算与语言
2023-05-26 v3
摘要
手语识别与翻译首先使用识别模块从手语视频中生成词格(gloss)，然后利用翻译模块将词格译为口语句子。现有工作大多关注识别步骤，而较少关注手语翻译。本文提出一种任务感知指令网络 TIN-SLT 用于手语翻译，通过将指令模块和基于学习的特征融合策略引入 Transformer 网络。由此，预训练模型的语言能力可被充分挖掘并利用，以进一步提升翻译性能。此外，通过探索手语词格与目标口语的表示空间，我们提出一种多级数据增强方案来调整训练集的数据分布。我们在两个具有挑战性的基准数据集 PHOENIX-2014-T 和 ASLG-PC12 上进行了大量实验，我们的方法在 BLEU-4 指标上分别比此前最佳方案高出 1.65 和 1.42。我们的代码发布于 https://github.com/yongcaoplus/TIN-SLT。
引用
@article{arxiv.2204.05953,
title = {Explore More Guidance: A Task-aware Instruction Network for Sign Language Translation Enhanced with Data Augmentation},
author = {Yong Cao and Wei Li and Xianzhi Li and Min Chen and Guangyong Chen and Long Hu and Zhengdao Li and Hwang Kai},
journal= {arXiv preprint arXiv:2204.05953},
year = {2023}
}
备注
NAACL 2022 Findings