跨语言科学: 评估 LLM 多语言翻译科学论文
人工智能
2025-09-05 v2 计算与语言
摘要
科学研究本质上具有全球性。然而，绝大多数学术期刊仅以英文出版，造成了非英语母语研究人员的障碍。在本研究中，我们利用大型语言模型 (LLM) 翻译已发表的科学文章，同时保留其原始 JATS XML 格式，从而开发出可被学术期刊实施的实用、自动化方法。通过我们的方法，将文章翻译成 28 种语言。为评估翻译准确性，我们引入一种新颖的问答 (QA) 基准方法，其中 LLM 从原文生成理解性问题，然后根据翻译后的文本作答。我们的基准结果显示平均性能为 95.9%，表明关键科学细节得到准确传递。在用户研究中，我们将 15 名研究人员的科学论文翻译成其母语，发现作者一致认为翻译准确地捕捉了原文中的信息。有趣的是，三分之一的作者发现许多技术术语被“过度翻译”，表示更愿意保留更熟悉的英文术语。最后，我们展示了如何使用情境学习技术将翻译与特定领域的偏好相匹配，例如缓解过度翻译，凸显了 LLM 驱动的科学翻译的可适应性和实用性。代码和翻译后的文章可在 https://hankleid.github.io/ProjectMundo 上获取。
引用
@article{arxiv.2502.17882,
title = {Science Across Languages: Assessing LLM Multilingual Translation of Scientific Papers},
author = {Hannah Calzi Kleidermacher and James Zou},
journal= {arXiv preprint arXiv:2502.17882},
year = {2025}
}