对话中发现：LLM 自学以闭合多轮对话差距
计算与语言
2026-05-26 v1
摘要
大型语言模型（LLM）交互通常表述不完整，用户需要在多个对话轮次中进行澄清。然而，近期研究表明，LLM 在这种多轮设置下的表现远低于在单轮设置下（即使信息完全相同），这一现象被称为“对话中丢失”（Lost-in-Conversation）。然而，有效弥合这一差距仍是一个开放问题。我们引入Found in Conversation（FiC），这是一种训练框架，使模型能够自学找到并恢复其单轮能力，以应对表述不完整的多轮提示。我们开发了View-Asymmetric Self-Distillation（视图非对称自蒸馊）技术，这种技术通过对同一任务信息的两个视图进行蒸馊——教师使用单轮视图，学生使用多轮视图——将强大的单轮行为蒸馊到弱的多轮行为中。这需要更强的外部教师，而这在当前甚至连前沿 LLM 也不可得，因为它们本身就存在这一差距。在多个模型家族（Llama、Qwen、Phi 和 OLMo）和规模（3B-14B）上，FiC 能够恢复至少 92% 的单轮性能，并在两个 Llama 主干模型上达到 100%，实现了在保持单轮能力完整的前提下，更高效、更有帮助的多轮对话。
引用
@article{arxiv.2605.24432,
title = {Found in Conversation: LLMs Teach Themselves to Close the Multi-Turn Gap},
author = {Tianlang Chen and Shirley Wu and Jure Leskovec},
journal= {arXiv preprint arXiv:2605.24432},
year = {2026}
}
备注
17 pages, 3 figures, 6 tables