对话遥测：面向自主信息收集的轮次级仪表化
计算与语言
2026-01-15 v1
摘要
执行基于模式的信息收集对话的自主系统面临一个仪表化缺口，即缺乏轮次级可观测指标来监控获取效率并检测何时提问变得无效。我们引入了对话遥测（DT），这是一个测量框架，在每次问答交换后产生两个与模型无关的信号：（i）一个进度估计器（PE），量化每个类别的剩余信息潜力（含基于比特的变体），以及（ii）一个停滞指数（SI），用于检测一种可观测的失败特征，该特征表现为对类别进行重复探测，但响应语义相似且边际增益低。SI标记此模式而无需进行因果诊断，支持在将性能退化归因于特定原因可能不切实际的环境中进行监控。我们在受控的、受搜索与救援（SAR）启发的访谈中，使用基于大语言模型（LLM）的模拟验证了DT，区分了高效与停滞的对话轨迹，并通过将DT信号集成到强化学习（RL）策略中，展示了其下游效用。在这些设置中，当停滞带来操作成本时，DT提供了可解释的轮次级仪表化，从而改善了策略性能。
引用
@article{arxiv.2601.09570,
title = {Dialogue Telemetry: Turn-Level Instrumentation for Autonomous Information Gathering},
author = {Dimitris Panagopoulos and Adolfo Perrusquia and Weisi Guo},
journal= {arXiv preprint arXiv:2601.09570},
year = {2026}
}
备注
16 pages, 9 Figures, Version submitted to IEEE for publication