建筑师-建造者问题中的学习引导与被引导

我们关注学习协调的交互式智能体，即一个 $builder$（执行动作但忽略任务目标，即无法获得奖励）和一个 $architect$（引导 builder 朝向任务目标）。我们定义并探索了一个形式化设定，其中人工智能体配备有允许它们在同时学习任务的同时演化共享通信协议的机制。理想情况下，这种学习应仅依赖高层通信先验，并能处理大量不同任务和语义，同时推导出可跨任务复用的通信协议。我们提出建筑师-建造者问题（ABP）：一种非对称设定，其中建筑师必须学习引导 builder 构建特定结构。建筑师知道目标结构但无法在环境中行动，只能向 builder 发送任意消息。另一方面，builder 可以在环境中行动，但接收不到奖励也不知晓任何任务信息，必须仅依靠建筑师发送的消息来学习解决任务。关键在于，消息的含义最初未定义也未在智能体间共享，而必须在学习过程中协商。在这些约束下，我们提出建筑师-建造者迭代引导（ABIG），一种解决 ABP 的方案，其中建筑师利用学习到的 builder 模型来引导它，而 builder 使用自我模仿学习来强化其被引导的行为。我们分析了 ABIG 的关键学习机制，并在涉及抓取立方体、将其放置于给定位置或构建各种形状的 2D 任务中进行了测试。ABIG 产生了一种低频、高频率的引导通信协议，不仅使建筑师-builder 对能够解决手头任务，而且可泛化至未见过的任务。