ERGO：基于熵引导的多轮语言模型生成优化重置
计算与语言
2025-11-04 v1
摘要
大型语言模型（LLM）在信息逐步呈现的多轮对话中表现显著下降。鉴于多轮对话是人类与LLM日常交互的典型形式，这种下降对实际可用性构成严峻挑战。我们假设，模型不确定性的突然上升信号表明多轮LLM交互出现偏离，并利用这一洞见进行动态对齐对话背景。我们引入ERGO（Entropy-guided Resetting for Generation Optimization），通过对下一个token分布的香氏熵持续量化内部不确定性，当检测到熵的尖锐峰值时触发自适应提示词合并。将不确定性作为一等信号而非需消除的扰民来对待，ERGO拥抱语言和建模的可变性，表现和应对不确定性。在逐步揭示指令的多轮任务中，ERGO相对于标准基线实现了56.6%的平均性能提升，将才能（峰值性能能力）提高24.7%，将不可靠性（性能波动）降低35.3%，表明不确定性感知干预既能提升准确率又能提升对话AI的可靠性。
引用
@article{arxiv.2510.14077,
title = {ERGO: Entropy-guided Resetting for Generation Optimization in Multi-turn Language Models},
author = {Haziq Mohammad Khalid and Athikash Jeyaganthan and Timothy Do and Yicheng Fu and Sean O'Brien and Vasu Sharma and Kevin Zhu},
journal= {arXiv preprint arXiv:2510.14077},
year = {2025}
}
备注
14 pages, 5 figures