中文

SwissGov-RSD:用于识别相关文档间语义差异的跨语言人工标注基准

计算与语言 2026-04-28 v3

摘要

识别跨文档的语义差异对于文本生成评估和内容对齐尤其在跨语言设置下至为关键。然而,作为一个独立任务,它几乎没有受到关注。在本文中,我们引入 SwissGov-RSD,这是第一个自然的、文档级别的、跨语言语义差异识别基准数据集。它包含 224 个多平行文档(英文-德文、英文-法文、英文-意大利文),并由人工标注者进行 token 级别差异标注。在本新基准上,我们评估了各种开源和闭源大型语言模型以及 encoder 模型在不同微调设置下的表现。我们的结果表明,当前的自动方法在 monolingual、句子级别和合成基准上的表现要差得多,显示出对 LLM 和 encoder 模型而言存在相当大的差距。我们公开代码和数据集。

关键词

引用

@article{arxiv.2512.07538,
  title  = {SwissGov-RSD: A Human-annotated, Cross-lingual Benchmark for Token-level Recognition of Semantic Differences Between Related Documents},
  author = {Michelle Wastl and Jannis Vamvas and Rico Sennrich},
  journal= {arXiv preprint arXiv:2512.07538},
  year   = {2026}
}

备注

30 pages; v3 accepted to ACL Main (camera-ready)