回复长度如何影响长文本事实性

大型语言模型 被广泛用于长文本生成。然而，回复中的事实错误会削弱其可靠性。尽管对 LLM 事实性的关注日益增加，回复长度对事实性的影响仍未得到充分探索。在本工作中，我们系统地研究了这一关系：首先引入了一个自动化的双层长文本事实性评估框架，该框架在与人工标注保持高度一致的同时具备成本效益。利用该框架，我们进行了受控实验，发现较长的回复表现出较低的事实精确度，证实了长度偏差的存在。为解释这一现象，我们实证检验了三个假设：错误传播、长上下文和事实耗尽。我们的结果表明，事实耗尽（即模型逐渐耗尽更可靠的知识）是事实性退化的主要原因，而非另外两个假设。