PyMarian:Python中的快速神经机器翻译与评估
计算与语言
2024-08-23 v1
摘要
如今最受欢迎的深度学习语言是Python;就可用库和技术支持等因素而言,很难击败Python。与此同时,用较低级编程语言(如C++)编写的软件在速度方面仍保留优势。我们描述了一个Python接口,用于Marian NMT,这是一种用于序列到序列模型的C++基于训练和推理工具包,专注于机器翻译。该接口使使用Marian训练的模型能够连接到Python中可用丰富且广泛的工具。该接口的一个亮点是能够从Python中计算最先进的COMET指标,但使用Marian的推理引擎,其加速速度最高可达7.8倍。我们还简要介绍了其他一些集成,包括Jupyter笔记本、与预构建模型的连接,以及随软件包提供的Web应用界面。PyMarian通过pip install pymarian在PyPI上可用。
引用
@article{arxiv.2408.11853,
title = {PyMarian: Fast Neural Machine Translation and Evaluation in Python},
author = {Thamme Gowda and Roman Grundkiewicz and Elijah Rippeth and Matt Post and Marcin Junczys-Dowmunt},
journal= {arXiv preprint arXiv:2408.11853},
year = {2024}
}