规范性分歧对合作型人工智能的挑战
多智能体系统
2021-11-30 v1 人工智能
计算机科学与博弈论
机器学习
摘要
在智能体兼具共同利益与冲突利益（混合动机环境）的场景中的合作，近来在多智能体学习中受到相当关注。然而，通常所研究的混合动机环境具有单一的可为所有智能体认同的合作结果。许多现实世界中的多智能体环境反而是议价问题（BPs）：它们具有多个帕累托最优收益分布，智能体对其存在偏好冲突。我们论证了典型的促合作学习算法在存在规范性分歧（导致多个相互竞争的合作均衡）的议价问题中无法达成合作，并以实证说明该问题。为补救此问题，我们引入规范自适应策略的概念。规范自适应策略能够在不同情境下依据不同规范行事，从而创造解决规范性分歧的机会。我们发展了一类规范自适应策略，并通过实验表明其显著提升了合作水平。然而，规范自适应性无法解决由可剥削性与合作鲁棒性之间根本权衡所导致的残余议价失败。
引用
@article{arxiv.2111.13872,
title = {Normative Disagreement as a Challenge for Cooperative AI},
author = {Julian Stastny and Maxime Riché and Alexander Lyzhov and Johannes Treutlein and Allan Dafoe and Jesse Clifton},
journal= {arXiv preprint arXiv:2111.13872},
year = {2021}
}
备注
Accepted at the Cooperative AI workshop and the Strategic ML workshop at NeurIPS 2021