使用文本 CTC 对齐 improving 手语翻译
计算与语言
2024-12-25 v4
摘要
当前的手语翻译（SLT）方法通常依赖于基于词汇的监督信息，采用连接主动分类（CTC），限制了其处理手语视频与 spoken text 之间非单调对齐的能力。在本工作中，我们提出了一种新方法，结合联合 CTC/Attention 和迁移学习。联合 CTC/Attention 引入分层编码，并在解码过程中将 CTC 与注意力机制集成，有效管理单调和非单调对齐。同时，迁移学习有助于弥合手语翻译中视觉与语言之间的模态差距。在两个广泛采用的基准数据集（RWTH-PHOENIX-Weather 2014 T 和 CSL-Daily）上的实验结果显示，我们的方法在实现与最新研究相当的性能方面取得了优异结果，并优于纯注意力基线。此外，本工作为未来利用基于文本的 CTC 对齐实现无词汇（gloss-free）SLT 研究开辟了新的道路。
引用
@article{arxiv.2412.09014,
title = {Improvement in Sign Language Translation Using Text CTC Alignment},
author = {Sihan Tan and Taro Miyazaki and Nabeela Khan and Kazuhiro Nakadai},
journal= {arXiv preprint arXiv:2412.09014},
year = {2024}
}