利用新型超参数优化技术推进文本到GLOSS的神经翻译
计算与语言
2023-09-06 v1
摘要
本文中,我们研究使用 transformer 进行面向聋哑及听障交流的文本到 GLOSS 神经机器翻译。由于可用数据稀缺且文本到 GLOSS 翻译资源有限,我们将该问题视为低资源语言任务。我们使用新颖的超参数探索技术考察多种架构参数,并构建专为文本到 GLOSS 翻译定制的基于 transformer 的最优架构。本研究旨在提升神经机器翻译生成的 GLOSS 的准确度与流畅度。这是通过考察包括层数、注意力头数、嵌入维度、dropout 与标签平滑在内的多种架构参数,以识别提升文本到 GLOSS 翻译性能的最优架构来实现的。在 PHOENIX14T 数据集上的实验表明,最优 transformer 架构优于同一数据集上的先前工作。最佳模型达到 ROUGE(Recall-Oriented Understudy for Gisting Evaluation)分数 55.18% 与 BLEU-1(BiLingual Evaluation Understudy 1)分数 63.6%,在 BLEU1 与 ROUGE 分数上分别超越 SOTA 结果 8.42 与 0.63。
引用
@article{arxiv.2309.02162,
title = {Advancing Text-to-GLOSS Neural Translation Using a Novel Hyper-parameter Optimization Technique},
author = {Younes Ouargani and Noussaima El Khattabi},
journal= {arXiv preprint arXiv:2309.02162},
year = {2023}
}
备注
8 pages, 5 figures