在多智能体协作中学习“伙伴感知”的协作者

大型语言模型（LLM）越来越多地被部署在智能体环境中，作为人类的协作者。因此，评估它们在多轮、多方任务中有效协作的能力变得越来越重要。在本文中，我们基于 AI 对齐和安全可中断性文献，为 LLM 驱动的协作者智能体与干预智能体之间的协作行为提供了新颖的理论见解。我们的目标是学习一个理想的、伙伴感知的协作者，它通过智能地收集伙伴智能体在干预中提供的信息，来增加群体在任务相关命题上的共同基础（CG）对齐。我们展示了使用标准 RLHF 及相关方法训练的 LLM 智能体天然倾向于忽略可能善意的干预，这使得在此设置中增加群体共同基础变得不平凡。我们采用双人修改动作 MDP 来检验标准 AI 智能体的这种次优行为，并提出了可中断协作角色扮演者（ICR）——一种新颖的伙伴感知学习算法，用于训练 CG 最优的协作者。在多个协作任务环境上的实验表明，ICR 平均而言更能促进成功的 CG 收敛，并在此类任务中探索更多样化的解决方案。