基于 Transformer 与 Seq2Seq 结合 LSTM 的美国手语到文本翻译
计算与语言
2024-09-18 v1
摘要
手语翻译是 deaf 与 hearing 人之间沟通的重要问题，因其通过手部、身体和口部动作表达单词。美国手语是一种手语语言，本文关注其字母手语。神经机器翻译技术正向手语翻译发展。Transformer 在自然语言处理中取得最前沿成绩。本研究比较了 Transformer 与序列到序列 (Seq2Seq) 模型在手语翻译为文本方面的性能。此外，我们通过在 Transformer 中添加残差长短期记忆 (ResidualLSTM) 进行实验。将 ResidualLSTM 添加到 Transformer 后，基于 BLEU 分数，Transformer 模型性能下降 23.37%。相比之下，Transformer 本身的 BLEU 分数比 Seq2Seq 模型高出 28.14。
关键词
引用
@article{arxiv.2409.10874,
title = {American Sign Language to Text Translation using Transformer and Seq2Seq with LSTM},
author = {Gregorius Guntur Sunardi Putra and Adifa Widyadhani Chanda D'Layla and Dimas Wahono and Riyanarto Sarno and Agus Tri Haryono},
journal= {arXiv preprint arXiv:2409.10874},
year = {2024}
}
备注
Submit on ICTIIA 2024