面向电子商务的通用到大语言模型专用翻译
计算与语言
2024-04-09 v2 人工智能
摘要
现有的神经机器翻译（NMT）模型主要处理通用领域的翻译，而忽略了具有特殊写作公式的领域，如电子商务和法律文件。以电子商务为例，文本通常包含大量领域相关词汇且存在更多语法问题，导致当前 NMT 方法性能不佳。为解决这些问题，我们收集了两个领域相关资源，包括一组术语对（对齐的中英双语术语）和一个为电子商务领域标注的平行语料库。此外，我们提出了一种带有自对比语义增强的两步微调范式（命名为 G2ST），用于将一个通用 NMT 模型迁移为面向电子商务的专用 NMT 模型。该范式可用于基于大语言模型（LLMs）的 NMT 模型。在真实电子商务标题上的广泛评估表明，与 LLaMA、Qwen、GPT-3.5 甚至 GPT-4 等最先进的 NMT 模型相比，我们的 G2ST 方法具有更优越的翻译质量和鲁棒性。
引用
@article{arxiv.2403.03689,
title = {General2Specialized LLMs Translation for E-commerce},
author = {Kaidi Chen and Ben Chen and Dehong Gao and Huangyu Dai and Wen Jiang and Wei Ning and Shanqing Yu and Libin Yang and Xiaoyan Cai},
journal= {arXiv preprint arXiv:2403.03689},
year = {2024}
}
备注
4 pages, 1 figure, WWW2024 accepted