多智能体错位即将到来的危机：AI 对齐必须是动态与社会化的过程
人工智能
2025-06-09 v2 计算机与社会
摘要
本立场论文指出，多智能体系统（MAS）中的 AI 对齐应被视为一个动态的、依赖交互的过程，该过程在很大程度上取决于部署智能体的社会环境，无论是协作、合作还是竞争环境。虽然 AI 与人类价值观和偏好的对齐仍然是一个核心挑战，但 MAS 在实际应用中的日益普及引入了新的动态，重塑了智能体追求目标和交互以完成各种任务的方式。当智能体相互交互时，它们必须协调以实现个体和集体目标。然而，这种复杂的社会组织可能会无意中使部分或所有智能体与人类价值观或用户偏好产生错位。借鉴社会科学，我们分析了社会结构如何阻碍或破坏群体和个体价值观。基于这些分析，我们呼吁 AI 社区将人类对齐、偏好对齐和目标对齐视为一个相互依赖的概念，而不是孤立的问题。最后，我们强调迫切需要模拟环境、基准和评估框架，使研究人员能够在这些动态变得过于复杂而无法控制之前，评估这些交互式多智能体环境中的对齐情况。
引用
@article{arxiv.2506.01080,
title = {The Coming Crisis of Multi-Agent Misalignment: AI Alignment Must Be a Dynamic and Social Process},
author = {Florian Carichon and Aditi Khandelwal and Marylou Fauchard and Golnoosh Farnadi},
journal= {arXiv preprint arXiv:2506.01080},
year = {2025}
}
备注
Preprint of NeurIPS 2025 Position Paper