印地语到英语：基于Transformer的神经机器翻译
计算与语言
2023-09-26 v1 人工智能
摘要
机器翻译（MT）是自然语言处理（NLP）中最突出的任务之一，其涉及将文本从一种自然语言自动转换为另一种自然语言，同时保留其含义与流畅度。尽管机器翻译研究已开展数十年，但将深度学习技术融入自然语言处理的新方法显著提升了翻译质量。本文中，我们通过训练Transformer模型开发了神经机器翻译（NMT）系统，以将印度语言印地语文本翻译为英语。印地语作为一种低资源语言，使神经网络难以理解该语言，从而导致神经机器翻译器发展缓慢。因此，为弥补这一缺口，我们实施了回译以增强训练数据，并在创建词汇表时，使用字节对编码（BPE）尝试了词级与子词级分词，最终以10种不同配置训练了Transformer。这使得我们在IIT Bombay英印语料库的测试集上于某一配置中取得了24.53的state-of-the-art BLEU分数。
引用
@article{arxiv.2309.13222,
title = {Hindi to English: Transformer-Based Neural Machine Translation},
author = {Kavit Gangar and Hardik Ruparel and Shreyas Lele},
journal= {arXiv preprint arXiv:2309.13222},
year = {2023}
}
备注
10 pages, 2 figures