面向专家领域的论述级翻译基准：DiscoX
计算与语言
2025-12-18 v2 人工智能
摘要
尽管论述级翻译在知识传播和跨语言学术交流中至关重要，但其评估仍不充分。虽然这些翻译要求论述层面的连贯性和严格的术语精确性，但当前的评估方法主要聚焦于分段层面的准确性和流畅性。为此，我们引入DiscoX——一个用于论述级和专家级中文-英文翻译的新基准。该基准包含来自 7 个领域的 200 份专业精选文本，平均长度超过 1700 个 token。为评估在 DiscoX 上的性能，我们还开发了 Metric-S——一个无参考的系统，提供关于准确性、流畅性和恰当性的细粒度自动评估。Metric-S 在与人类判断之间表现出强一致性，显著优于现有指标。我们的实验揭示了惊人的性能差距：即便是最先进的大语言模型，也在这些任务上滞后于人类专家。这一发现既验证了DiscoX 的难度，也凸显了在实现专业级机器翻译方面仍存在的挑战。该基准和评估系统提供了一个更为严谨的评估框架，推动了基于 LLM 的翻译未来发展。
引用
@article{arxiv.2511.10984,
title = {DiscoX: Benchmarking Discourse-Level Translation task in Expert Domains},
author = {Xiying Zhao and Zhoufutu Wen and Zhixuan Chen and Jingzhe Ding and Jianpeng Jiao and Shuai Li and Xi Li and Danni Liang and Shengda Long and Qianqian Liu and Xianbo Wu and Hongwan Gao and Xiang Gao and Liang Hu and Jiashuo Liu and Mengyun Liu and Weiran Shi and Chenghao Yang and Qianyu Yang and Xuanliang Zhang and Ge Zhang and Wenhao Huang and Yuwen Tang},
journal= {arXiv preprint arXiv:2511.10984},
year = {2025}
}
备注
36 pages