在无人类数据情况下与人类协作
机器学习
2022-01-10 v2 人机交互
多智能体系统
摘要
与人类协作需要快速适应其个体优势、劣势与偏好。遗憾的是，大多数标准的多智能体强化学习技术，如自博弈（SP）或群体博弈（PP），产生的智能体会过拟合于其训练伙伴，且不能很好地泛化到人类。另一种方法是，研究者可以收集人类数据，使用行为克隆训练人类模型，然后利用该模型训练“人类感知”智能体（“行为克隆博弈”，即 BCP）。虽然此类方法可改善智能体对新人类合作者的泛化能力，但它首先涉及收集大量人类数据这一繁重且昂贵的步骤。本文中，我们研究如何在不使用人类数据的情况下训练与人类伙伴良好协作的智能体。我们认为问题的关键在于产生一组多样化的训练伙伴。从竞争领域中成功的多智能体方法获得启发，我们发现一种令人惊讶的简单方法极为有效。我们将我们的智能体伙伴训练为对一群自博弈智能体及其在整个训练过程中保存的历史检查点的最优响应，我们将此方法称为虚构协同博弈（FCP）。我们的实验聚焦于最近提出的作为与人类协调挑战问题的双人协作烹饪模拟器。我们发现，当与新颖的智能体及人类伙伴配对时，FCP 智能体的得分显著高于 SP、PP 和 BCP。此外，人类也报告出相对于所有基线更强地与 FCP 智能体合作的主观偏好。
引用
@article{arxiv.2110.08176,
title = {Collaborating with Humans without Human Data},
author = {DJ Strouse and Kevin R. McKee and Matt Botvinick and Edward Hughes and Richard Everett},
journal= {arXiv preprint arXiv:2110.08176},
year = {2022}
}
备注
Accepted at NeurIPS 2021 (spotlight)