LLM代理的对手塑造

大型语言模型(LLM)正在被部署为真实环境中的自主代理。随着这些部署的规模化，多代理相互作用变得不可避免，这使得理解此类系统中战略行为的重要性不言而喻。一个核心开放问题是，LLM代理是否像强化学习代理一样，能够通过与他人的交互来塑造学习动力学并影响他人的行为。在本文中，我们首次针对LLM代理进行对手塑造(OS)的调查。现有的OS算法不能直接应用于LLM，因为它们需要更高阶的导数、面临规模限制，或依赖于在变压器中缺失的架构组件。为此，我们引入ShapeLLM，这是一种为基于变压器的代理量身定制的无模型OS方法的变体。使用ShapeLLM，我们检验了LLM代理是否能够在多样化的博弈论环境中影响共同玩家的学习动力学。我们展示了LLM代理能够成功地在竞争性游戏(交替囚犯困境、匹配硬币和鸡)中引导对手走向可被利用的均衡，在合作性游戏(交替斯台格猎人和合作版的囚犯困境)中促进协调并提高集体福利。我们的发现表明，LLM代理能够通过相互作用塑造并被塑造，从而将对手塑造确立为多代理LLM研究的关键维度。