TurnWise：单轮与多轮语言模型能力之间的差距
计算与语言
2026-03-18 v1 人工智能
摘要
多轮对话是语言模型交互的常见且关键模式。然而，当前的开放训练和评估数据仅聚焦于单轮设置，未能捕捉这些更长交互的额外维度。为理解这一多/单轮差距，我们首先引入一个新的基准，TurnWiseEval，用于评估多轮能力，且与单轮聊天评估直接可比。我们的评估通过与等效单轮设置的两两比较来隔离多轮特定的对话能力。我们 additionally 引入我们的合成多轮数据管道 TurnWiseData，该管道允许可扩展地生成多轮训练数据。我们的实验表明，仅通过少量多轮对话训练即可显著提升模型在多轮对话中的表现，我们的 Olmo 3 模型在 TurnWiseEval 上实现了 12% 的提升。
引用
@article{arxiv.2603.16759,
title = {TurnWise: The Gap between Single- and Multi-turn Language Model Capabilities},
author = {Victoria Graf and Valentina Pyatkin and Nouha Dziri and Nathan Lambert and Hannaneh Hajishirzi},
journal= {arXiv preprint arXiv:2603.16759},
year = {2026}
}