多智能体通用强化学习中的社会成本问题：调查与综合
人工智能
2025-04-15 v2 计算机科学与博弈论
机器学习
多智能体系统
摘要
AI安全文献中充满了强大AI智能体在盲目追求特定且通常狭窄目标时，导致对他人造成不可接受甚至灾难性伤害的例子。在本文中，我们考虑多智能体环境中由学习和效用最大化智能体所造成的社会伤害问题。对于人工智能（AGI）智能体在此类多智能体设置下的社会伤害或影响的度量问题，Everitt等人（2018）将其列为开放问题。我们以基于市场的机制形式，对该开放问题作出部分回答，以量化和控制此类社会伤害的成本。所提出的设置捕捉了许多经典的特殊案例，并且比现有基于机制设计的多智能体强化学习公式更为宽泛：（i）底层环境是类似AIXI的历史依赖通用强化学习环境；（ii）参与环境的强化学习智能体可以具有不同的学习策略和规划时限。为演示所提设置的可行性，我们调查了一些关键学习算法类群，并呈现了若干应用，包括对纸夹问题和基于 cap-and-trade 系统的污染控制的讨论。
引用
@article{arxiv.2412.02091,
title = {The Problem of Social Cost in Multi-Agent General Reinforcement Learning: Survey and Synthesis},
author = {Kee Siong Ng and Samuel Yang-Zhao and Timothy Cadogan-Cowper},
journal= {arXiv preprint arXiv:2412.02091},
year = {2025}
}
备注
67 pages