基于LLM智能体的情境意识不确定性传播框架SAUP
计算与语言
2024-12-03 v1 机器学习
摘要
集成多步骤智能体系统的大语言模型（LLM）使其能够跨越各种应用实现复杂的决策过程，但其输出常常缺乏可靠性，使得不确定性估计至关重要。现有的不确定性估计方法主要关注最终步骤的输出，无法考虑多步骤决策过程中不确定性的累积效应以及智能体与其环境之间动态交互。为此，本文提出了SAUP（情境意识不确定性传播），一种通过LLM基于智能体推理过程的每个步骤传播不确定性的新框架。SAUP通过为每个步骤的不确定性分配情境权重来实现情境意识。该方法与各种单步骤不确定性估计技术兼容，提供了全面且准确的不确定性度量。大量基准数据集上的实验表明，SAUP显著优于现有最先进的方法，在AUROC方面实现了最高可达20%的提升。
引用
@article{arxiv.2412.01033,
title = {SAUP: Situation Awareness Uncertainty Propagation on LLM Agent},
author = {Qiwei Zhao and Xujiang Zhao and Yanchi Liu and Wei Cheng and Yiyou Sun and Mika Oishi and Takao Osaki and Katsushi Matsuda and Huaxiu Yao and Haifeng Chen},
journal= {arXiv preprint arXiv:2412.01033},
year = {2024}
}