长文本摘要中忠实度的位置偏差研究

大型语言模型（LLMs）在长上下文环境中常表现出位置偏差，即对输入中间部分的信息关注不足。我们研究了这种偏差在长文本摘要中的存在性、其对忠实度的影响，以及缓解该偏差的各种技术。为一致地评估忠实度，我们首先编制了一个包含八个人工标注长文本摘要数据集的基准，并对忠实度指标进行了元评估。我们发现，基于LLM的忠实度指标虽然在全上下文输入时有效，但仍对文档顺序敏感，这表明存在位置偏差。通过分析六个数据集上LLM生成的摘要，我们发现忠实度呈现“U形”趋势，即LLM忠实地总结了文档的开头和结尾，但忽略了中间内容。扰动文档顺序同样揭示，当重要文档被放置在输入中间时，模型的忠实度较低。我们发现，这种行为部分是由于关注焦点随上下文长度变化而转移：随着上下文增加，摘要变得不那么忠实，但超过一定长度后，由于模型聚焦于结尾，忠实度反而提高。最后，我们尝试了不同的生成技术以减少位置偏差，发现提示技术能有效地将模型注意力引导至特定位置，而更复杂的方法提供的改进有限。我们的数据和代码可在 https://github.com/meetdavidwan/longformfact 获取。