Bregman 质心引导的交叉熵方法

交叉熵方法（CEM）是基于模型的强化学习（MBRL）中广泛采用的轨迹优化器，但其单峰采样策略常导致在多峰环境中出现过早收敛。本文提出 Bregman 质心引导的 CEM（$\mathcal{BC}$-EvoCEM），这是一种对集成 CEM 的轻量级增强方法，利用 $\textit{Bregman 质心}$ 进行原则性的信息聚合与多样性控制。\textbf{\mathcal{BC}-EvoCEM} 计算 CEM 工作节点间性能加权的 Bregman 质心，并通过在质心周围的信赖域内采样来更新贡献最小的节点。利用 Bregman 散度与指数族分布之间的对偶性，我们证明 \textbf{\mathcal{BC}-EvoCEM} 能以可忽略的开销无缝集成到标准 CEM 流程中。在合成基准测试、杂乱导航任务以及完整 MBRL 流程上的实验结果表明，\textbf{\mathcal{BC}-EvoCEM} 提升了收敛性和解的质量，为 CEM 提供了一种简单而有效的升级方案。