SeDT：基于句子-Transformer决策Transformer的多轮对话可靠性
计算与语言
2026-05-27 v1 人工智能
摘要
大语言模型在任务完全由单轮指定时表现突出，但当相同任务在多轮中逐步揭示时，模型性能会下降最高39%，这一现象已在规模化研究中文档化为Lost in Conversation。关键是，这种崩溃几乎完全是可靠性失败；最佳情况，能力只下降16%，而可靠性不足则超过112%。我们认为根本原因是结构性的，平坦的对话历史为每个先前轮次赋予相等的隐式权重，使模型无法区分关键约束与偶然对话。我们提出SeDT句子-Transformer决策Transformer，一种无需训练的推理时方法，通过导入离线强化学习中的return-to-go条件化来解决此问题。SeDT为每个对话片段标注累积相关性得分，基于三个互补的语义、词汇和位置信号，并在最终轮次向模型呈现完整的标注历史，无需权重更改、无需训练数据、无需丢弃上下文。评估于Lost-in-Conversation基准的三个LLM和三个生成任务中，SeDT在所有九个模型-任务组合中均优于分片基线，平均性能P提升最高达+37.7%，同时在七个九个组合中显著降低不可靠性。简而言之，告诉模型哪些先前轮次重要，即可显著恢复在对话中丢失的性能。
引用
@article{arxiv.2605.26788,
title = {SeDT: Sentence-Transformer Decision-Transformer Conditioning for Multi-Turn Conversation Reliability},
author = {Ramakrishna Vamsi Setti and Jagadeesh Rachapudi and Sachin Chaudhary and Praful Hambarde and Amit Shukla},
journal= {arXiv preprint arXiv:2605.26788},
year = {2026}
}