Mean-Field Diffuser：将离线多智能体强化学习扩展至千级规模

扩散规划在单智能体离线强化学习中取得了强劲成绩，但由于在联合轨迹空间中的维度诅咒，难以扩展到众多智能体系统。我们引入 MF-Diffuser，一种将轨迹规划提升至轨迹分布 Wasserstein 空间的框架，在此空间中，混沌的传播确保少量代表性智能体即可捕捉整个人口动态。我们的方案具备价值加权混沌熵目标，协调生成保真度与回报最大化，并具备层次化粗到细策略，逐步扩大去噪过程中的智能体人口。我们建立了端到端次优界，揭示均值场近似误差按 $O(H^2/\sqrt{N})$ 规模，离线分布迁移理论上随人口规模 $N$ 不增长，并证明生成的策略是近似均值场纳什均衡，具有明确收敛保证。在三个均值场 RL 基准——涵盖阶段博弈、顺序动力学和对抗团队竞争——上的实验表明，MF-Diffuser 在大多数情形下实现最佳回报，其中在次优离线数据和极端规模 ($N \geq 10^3$) 上的提升最大。