TROVE：基于源句子追踪和关系分类的细粒度文本来源挑战
计算与语言
2025-06-02 v3
摘要
大语言模型（LLM）在文本生成方面取得了显著的流畅性和连贯性，但其广泛应用引发了关于内容可靠性和责任的问题。在高风险领域，了解内容的来源和创建方式至关重要。为此，我们引入文本来源挑战（TROVE），旨在将目标文本的每个句子追溯到 potentially 长或多文档输入中特定的源句子。除了识别来源，TROVE 还标注了细粒度的关系（引用、压缩、推断等），从而深入理解每个目标句子是如何形成的。为对标 TROVE，我们通过利用覆盖 11 种多样化场景（如问答和摘要）的三个公开数据集构建数据集，涵盖英文和中文，源文本长度从 0-5k、5-10k 到 10k+，强调对 provenance 必需的多文档和长文档设置。为确保数据质量，我们采用三阶段标注流程：句子检索、GPT-4o 归因、人工归因。我们评估了 11 个大语言模型在直接提示和检索增强范式下的表现，发现检索对于稳健的性能至关重要，更大模型在复杂关系分类中表现更好，封闭源模型常常领先，但开源模型在检索增强方面显示出巨大的潜力。我们在此公开数据集：https://github.com/ZNLP/ZNLP-Dataset。
引用
@article{arxiv.2503.15289,
title = {TROVE: A Challenge for Fine-Grained Text Provenance via Source Sentence Tracing and Relationship Classification},
author = {Junnan Zhu and Min Xiao and Yining Wang and Feifei Zhai and Yu Zhou and Chengqing Zong},
journal= {arXiv preprint arXiv:2503.15289},
year = {2025}
}
备注
To appear in ACL 2025 (Main)