基于 Wasserstein 及 Kalman-Wasserstein KL 发散的良好定义 KL 正则化控制
最优化与控制
2026-02-03 v1 机器学习
摘要
克隆-莱布尔 (Kullback-Leibler) 发散 (KL) 在强化学习中被广泛使用,但在分布支持不匹配时会发散,且在低噪声极限下可能退化。利用统一的信息几何框架,我们引入 (Kalman)-Wasserstein 形式的 KL 类拟合方法,通过取代 KL 在动力学公式中基于 Fisher-Rao 几何的部分,使用基于传输的几何,并推导出常见分布族的闭式表达式。这些发散在支持不匹配情况下保持有限,并给出 KL 正则化在卡尔曼集合方法中所使用的正则化启发式的几何解释。我们展示了这些发散在 KL 正则化最优控制中的实用性。在线性时不变系统且具有高斯过程噪声的完全可解析情形下,经典 KL 简化为退化的二次控制惩罚,当过程噪声消失时该惩罚趋于奇异。我们的变体消除了这种奇异性,从而得到良好定义的问题。在双积分系统和车杆示例中,所得控制器优于基于 KL 的正则化方法。
引用
@article{arxiv.2602.02250,
title = {Well-Posed KL-Regularized Control via Wasserstein and Kalman-Wasserstein KL Divergences},
author = {Viktor Stein and Adwait Datar and Nihat Ay},
journal= {arXiv preprint arXiv:2602.02250},
year = {2026}
}
备注
37 pages, 9 figures, comments welcome