面向自适应零样本人机协作的潜在伙伴策略建模

在协作任务中，能够适应队友是取得成功的必要条件。当队友异质时，例如在人机混合团队中，智能体需要能够实时观察、识别并适应其人类伙伴。这在具有时间压力和复杂策略空间且动态变化迅速的任务中尤为困难。在本工作中，我们引入了 TALENTS，一个以策略为条件的协作者框架，它学习表示、分类并适应一系列伙伴策略，从而实现即席团队协作。我们的方法利用变分自编码器从轨迹数据中学习潜在策略空间。该潜在空间表示智能体所采用的底层策略。随后，系统通过对数据进行聚类来识别不同类型的策略。最后，训练一个协作者智能体，以这些聚类为条件，为每种策略类型生成伙伴。为了适应先前未见过的伙伴，我们利用固定份额遗憾最小化算法来动态推断并调整估计的伙伴策略。我们在定制版的 Overcooked 环境中评估了我们的方法，该环境提出了一个具有挑战性的协作烹饪任务，要求在广泛的可能策略范围内进行高度协调。通过一项在线用户研究，我们表明我们的智能体在与不熟悉的人类伙伴合作时优于当前基线。