中文

VNJPTranslate:面向越南-日语翻译的综合性管道系统

计算与语言 2025-10-14 v2 人工智能

摘要

基于Transformer架构的神经机器翻译(NMT)已取得显著进展,但在面对低资源语言对(如越南-日语Vi-Ja)时仍面临挑战,主要问题包括平行数据稀缺以及处理语言和文化细微差别。近期大型语言模型(LLM)在强大推理能力(尤其是通过强化学习RL)下的合成数据生成方面取得了显著进展。我们引入VNJPTranslate,一个专为系统性解决Vi-Ja翻译任务而设计的管道系统。其特色是针对通过语料库分析识别出的难译段落,利用带链式思维提示的先进LLM进行有针对性的数据增强策略。随后,我们采用高效微调技术(Unsloth与QLoRA)在一款具备能力且参数较少的自回归模型(具体为基于Qwen架构的1.8B参数Sailor模型的微调版本)上进行微调,以构建一个实用且高性能的翻译系统。这种集成方法旨在显著提升越南-日语翻译质量,超越现有基线方法。

关键词

引用

@article{arxiv.2504.00339,
  title  = {VNJPTranslate: A comprehensive pipeline for Vietnamese-Japanese translation},
  author = {Hoang Hai Phan and Nguyen Duc Minh Vu and Nam Dang Phuong},
  journal= {arXiv preprint arXiv:2504.00339},
  year   = {2025}
}

备注

The paper contains a critical error in Section 3.1, leading to invalid results in Section 3.3. This undermines the main conclusion of the paper. The authors are working on a corrected version, but in the meantime, there is not a quick fix/replacement/update available