超越字面翻译：评估社交媒体UGC的文化效能
计算与语言
2026-05-26 v1
摘要
社交媒体平台促进了大规模的跨语言交流，但翻译用户生成内容(UGC)仍具有挑战性 due to its informal style, cultural references, and interaction-based expressions. 虽然最近的大语言模型(LLM)提高了翻译质量，但现有的基准和指标往往无法捕捉翻译在现实场景中是否传达了预期含义和文化共鸣。本 work引入CULTURE-MT，一个关注CULtural Transmission和UGC-specific emotion REsonance的社交媒体翻译基准。CULTURE-MT包含1,002篇跨14个领域的UGC笔记，按基于文化符号和语言风格特征的四种类型进行分类。我们构建了针对Qwen3-8B和Qwen3-32B的UGC导向训练数据。我们提出文化效能作为新的评估标准，关注表达准确性和文化适应性。测试15个模型，包括基线模型，我们发现传统指标无法捕捉文化效能。我们还观察到基座LLM的文化效能与模型规模呈相关性。本 work提供了全面的UGC翻译模型评估系统，并将提供开放评估平台以推动该领域的研究。我们发布CULTURE-MT基准，并提供在线排行榜，其中可对提交的翻译结果进行我们的训练JUDGER评估。
引用
@article{arxiv.2605.25626,
title = {Beyond Literal Translation: Evaluating Cultural Effectiveness in Social Media UGC},
author = {Linjuan Wu and Ruiqi Zhang and Xinze Lyu and Ye Guo and Daoxin Zhang and Zhe Xu and Yao Hu and Yixin Cao and Yongliang Shen and Weiming Lu},
journal= {arXiv preprint arXiv:2605.25626},
year = {2026}
}
备注
Accepted by ICML2026