利用大语言模型重新定义社交网络服务上的机器翻译
计算与语言
2025-04-11 v1
摘要
社交互动的全球化加剧了社交网络服务（SNS）对机器翻译（MT）的需求，然而传统模型在处理模因、俚语和流行文化引用等具有文化细微差异的内容时存在困难。尽管大语言模型（LLM）推进了通用翻译，但由于缺乏专门的训练数据和评估基准，其在 SNS 特定内容上的表现仍然有限。本文介绍了 RedTrans，一个专为 SNS 翻译定制的 72B LLM，其训练基于通过三项创新开发的新数据集：（1）基于双 LLM 回译采样的监督微调，这是一种利用基于 LLM 的回译来选择多样化数据以进行大规模微调的无监督采样方法；（2）重写偏好优化（RePO），一种通过专家标注识别并纠正错误偏好对的算法，构建可靠的偏好语料库；（3）RedTrans-Bench，首个用于 SNS 翻译的基准，评估幽默本土化、表情符号语义和模因改编等现象。实验表明，RedTrans 优于最先进的 LLM。此外，RedTrans 已部署于实际生产环境中，证明了领域特定适应能够有效弥合通用翻译系统与文化植根翻译系统之间的差距。
引用
@article{arxiv.2504.07901,
title = {Redefining Machine Translation on Social Network Services with Large Language Models},
author = {Hongcheng Guo and Fei Zhao and Shaosheng Cao and Xinze Lyu and Ziyan Liu and Yue Wang and Boyang Wang and Zhoujun Li and Chonggang Lu and Zhe Xu and Yao Hu},
journal= {arXiv preprint arXiv:2504.07901},
year = {2025}
}