利用熵激活引导控制大语言模型智能体
计算与语言
2024-10-14 v2
摘要
大语言模型（LLM）的兴起引发了人们对其作为上下文学习智能体使用的日益增长的兴趣。智能体行为的核心是探索能力，即主动收集环境信息的能力。但 LLM 智能体如何探索，我们又如何控制它们的探索行为？为了回答这些问题，我们采取表征层面的视角，并引入熵激活引导（EAST），一种用于上下文学习 LLM 智能体的激活引导方法。首先，我们证明 EAST 可以通过直接影响从 LLM 输出中解析出的高层动作（与 token 级别的温度采样形成对比）来有效操纵 LLM 智能体的探索。其次，我们揭示了应用这种控制如何调节 LLM 思考中表现出的不确定性，引导智能体采取更具探索性的行动。最后，我们证明通过 EAST 获得的引导向量可以跨任务变体泛化。总的来说，这些结果表明 LLM 智能体在其表征空间中明确编码了对其动作的不确定性。我们的工作为理解 LLM 智能体的运作机制以及有效控制其决策行为铺平了道路。
引用
@article{arxiv.2406.00244,
title = {Controlling Large Language Model Agents with Entropic Activation Steering},
author = {Nate Rahn and Pierluca D'Oro and Marc G. Bellemare},
journal= {arXiv preprint arXiv:2406.00244},
year = {2024}
}