超越连续性：多轮对话中 LLM 上下文切换的挑战
计算与语言
2026-05-12 v1 人工智能
摘要
在多轮对话中与大语言模型（LLMs）交互的用户通常会细化请求或转向新主题。然而，LLMs 常常错过这些主题转换，沿用之前的轮次中不相关的上下文，导致回答不准确。本文对 LLM 的多轮理解进行压力测试，研究以下两个子任务：(1) 检测用户在当前轮次中是精炼还是转向；(2) 从之前的轮次中筛选出相关上下文。为此，我们构建基于真实世界数据集的合成基准，模拟不同难度的上下文转换。随后，我们评估了十个 LLMs（开源权重、闭源和推理型）的零样性能，发现只有部分推理型和强指令 LLMs 能准确检测主题转换；开源 LLMs 在该任务上困难重重，即使明确提示也会携带陈旧上下文；所有模型都受到位置偏置的影响。基于结果，我们讨论了提高 LLM 长期鲁棒性在多轮能力方面的关键要点。
引用
@article{arxiv.2605.09268,
title = {Beyond Continuity: Challenges of Context Switching in Multi-Turn Dialogue with LLMs},
author = {Aditya Sinha and Harald Steck and Vito Ostuni and Matteo Rinaldi},
journal= {arXiv preprint arXiv:2605.09268},
year = {2026}
}
备注
Accepted to the ICBINB Workshop @ ICLR 2026