可微信念基盾对抗塑形
人工智能
2026-05-29 v1 机器学习
摘要
人类协调往往依赖通过战略行动影响他人信念的能力。在多智能体强化学习中，对抗塑形尝试复制这种影响力，但现有方法通常 operate within opponent 的参数、政策或价值空间。同时，隐藏角色游戏中的信念操纵技术通常依赖硬编码目标，如欺骗或信念饱和。我们提出可微信念基盾对抗塑形(D-BOS)，一种一阶方法将每个观察者的信念视为塑形后的对手状态并对步softmax-Bayes信念动力学进行微分。我们的方法不显式奖励欺骗或合作行为，而是将信念状态作为塑形目标。这允许最优策略自然地从环境的奖励结构中涌现。这种信念空间表述通过对对手信念更新进行微分，为对抗塑形信号提供了自然的多观察者扩展方法，通过聚合其个人推断信念轨迹的梯度。实验结果表明，D-BOS在隐藏角色游戏中超越PPO和BBM，尤其在混合动机情景中获得最大提升。
引用
@article{arxiv.2605.29042,
title = {Differentiable Belief-based Opponent Shaping},
author = {Aarav G Sane and Karthik Sivachandran and Rohan Paleja},
journal= {arXiv preprint arXiv:2605.29042},
year = {2026}
}