当赋能反而剥夺
人工智能
2025-11-07 v1 多智能体系统
摘要
赋能（Empowerment）作为代理人控制其环境能力的度量，被提出作为一种通用且无关目标的目标，用于激励AI代理人的协助行为。虽然像家庭和医院等多人类环境为AI协助提供了广阔前景，但针对赋能的协助工作假设代理人仅协助一个人。我们引入了一个开源的多人类网格世界测试套件Disempower-Grid。通过Disempower-Grid，我们实证表明，优化单个人类赋能的协助强化学习代理人会显著降低另一个人类的环境影响和奖励——我们将这种现象正式称为剥夺。我们描述了何时发生剥夺的条件，并表明联合赋能可以在人类奖励方面缓解剥夺。我们的工作揭示了更广泛的AI对齐社区挑战：在单智能体环境中看似对齐的无关目标，在多智能体情境中可能变得不一致。
引用
@article{arxiv.2511.04177,
title = {When Empowerment Disempowers},
author = {Claire Yang and Maya Cakmak and Max Kleiman-Weiner},
journal= {arXiv preprint arXiv:2511.04177},
year = {2025}
}