LLM能从自己的输出中获益吗？
计算与语言
2026-03-02 v1 人工智能
摘要
与大型语言模型的多轮交互通常会在对话历史中保留助手自身的过往回复。在这项工作中，我们通过探究大型语言模型是否受益于以自身先前的回复为条件，重新审视了这一设计选择。利用真实世界的多轮对话，我们比较了标准（全上下文）提示与仅用户轮次提示（即省略所有先前的助手回复）两种方法，涉及三个开放推理模型和一个最先进的模型。令人惊讶的是，我们发现移除先前的助手回复在大部分轮次中并不影响回复质量。省略助手侧历史记录可以将累积上下文长度减少多达10倍。为解释这一结果，我们发现多轮对话包含相当比例（36.4%）的自包含提示，并且许多后续提示提供了足够的指令，仅使用当前用户轮次和先前的用户轮次即可回答。在分析仅用户轮次提示显著优于全上下文的案例时，我们识别出上下文污染的情况，即模型过度依赖其先前的回复，从而引入错误、幻觉或风格伪影，并在各轮次间传播。受这些发现的启发，我们设计了一种上下文过滤方法，选择性地省略助手侧上下文。我们的研究结果表明，选择性地省略助手历史记录可以在降低内存消耗的同时提高回复质量。
引用
@article{arxiv.2602.24287,
title = {Do LLMs Benefit From Their Own Words?},
author = {Jenny Y. Huang and Leshem Choshen and Ramon Astudillo and Tamara Broderick and Jacob Andreas},
journal= {arXiv preprint arXiv:2602.24287},
year = {2026}
}