ULProp：探讨LLMs在多步骤智能体决策中不确定性传播
计算与语言
2025-06-24 v1 人工智能
机器学习
机器学习
摘要
随着大型语言模型（LLM）被集成到涉及实际世界顺序决策的安全关键应用中，确定何时可以信赖LLM决策至关重要。现有的LLM不确定性量化（UQ）方法主要针对单轮问答格式设计，导致涉及顺序决策的场景（如LLM智能体系统）仍未得到充分探索。在本文中，我们提出了一个原则且信息论的框架，将LLM顺序决策不确定性分解为两个部分：（i）针对当前决策的内在不确定性，关注现有UQ方法；（ii）外在不确定性，描述如何继承前序决策的不确定性程度的相互信息（MI）量。我们 then 提出了ULProp，一种将直接估计 MI 转换为对多个轨迹依赖决策过程（TDPs）上点互信息（PMI）估计的高效且有效的外在不确定性估计器。ULProp 在广泛的多步骤决策基准测试中进行了评估，如 AgentBench 和 HotpotQA，针对最新的LLM，如 GPT-4.1 和 DeepSeek-V3。实验结果表明，ULProp 在经过周到聚合策略的现有单轮UQ基准上显著优于。此外，我们对ULProp 提供了全面的分析，包括抽样效率、潜在应用和中间不确定性传播，以展示其有效性。代码将在 https://github.com/jinhaoduan/UProp 上提供。
引用
@article{arxiv.2506.17419,
title = {UProp: Investigating the Uncertainty Propagation of LLMs in Multi-Step Agentic Decision-Making},
author = {Jinhao Duan and James Diffenderfer and Sandeep Madireddy and Tianlong Chen and Bhavya Kailkhura and Kaidi Xu},
journal= {arXiv preprint arXiv:2506.17419},
year = {2025}
}
备注
19 pages, 5 figures, 4 tables