SkyNet: 部分可观测随机博弈的信念感知规划

2019年，Google DeepMind发布了MuZero，一种基于模型的强化学习方法，通过结合学习到的动力学模型与蒙特卡洛树搜索（Monte Carlo Tree Search, MCTS），在完全信息博弈中取得了优异成果。然而，将MuZero扩展到部分可观测、随机、多智能体环境的工作相对较少——在这些环境中，智能体必须在对隐藏状态不确定的情况下采取行动。此类场景不仅出现在纸牌游戏中，也出现在自主谈判、金融交易和多智能体机器人等领域。在缺乏显式信念建模的情况下，MuZero的潜在编码没有专门机制来表示对未观测变量的不确定性。为解决这一问题，我们提出了SkyNet（信念感知MuZero），它在标准MuZero架构上添加了以自我为条件的辅助头，用于胜者预测和排名估计。这些目标鼓励潜在状态在部分可观测条件下保留与结果相关的信息，而无需显式的信念状态跟踪或对搜索算法的修改。我们在Skyjo（一种部分可观测、非零和、随机纸牌游戏）上评估SkyNet，采用决策粒度环境、基于Transformer的编码以及启发式对手的课程化自对弈。在1000局匹配检查点的头对头评估中，SkyNet相对于基线达到了75.3%的峰值胜率（+194 Elo，$p < 10^{-50}$）。SkyNet在对抗启发式对手时也优于基线（0.720对0.466胜率）。关键的是，信念感知模型在训练初期表现不如基线，但在训练吞吐量充足后决定性地超越基线，这表明信念感知的辅助监督改善了部分可观测条件下的学习表示，但仅在数据流充足时才有效。