ESCORT:面向 POMDP 的高效 Stein 变分与切片一致性优化时序信念表示
机器学习
2025-10-27 v1 人工智能
机器人学
摘要
在部分可观测马尔可夫决策过程(POMDP)中,维护和更新关于可能底层状态的信念分布提供了一种原则性的方法,以在不确定性下总结动作-观测历史,从而实现有效决策。随着环境变得更加真实,信念分布发展出标准数学模型无法准确捕捉的复杂性,这在保持表示精度方面构成了根本性挑战。尽管深度学习与概率建模取得了进展,现有的 POMDP 信念近似方法仍无法准确表示复杂的不确定性结构,例如高维、多模态的信念分布,导致估计误差进而引发次优的智能体行为。为应对这一挑战,我们提出 ESCORT(面向时序信念的高效 Stein 变分与切片一致性优化表示),一种用于在高维信念空间中捕捉复杂多模态分布的基于粒子的框架。ESCORT 通过两项关键创新扩展了 SVGD:建模状态维度间依赖性的相关性感知投影,以及在保留相关性结构的同时稳定更新的时序一致性约束。该方法保留了 SVGD 的吸引-排斥粒子动力学,同时能够精确建模复杂的关联模式。与易于退化的粒子滤波器或具有固定表示容量的参数化方法不同,ESCORT 能够动态适应信念景观的复杂性,无需重采样或限制性的分布假设。我们通过对 POMDP 领域以及不同维度合成多模态分布的大量评估证明了 ESCORT 的有效性,在信念近似精度和下游决策质量方面始终优于当前最优方法。
引用
@article{arxiv.2510.21107,
title = {ESCORT: Efficient Stein-variational and Sliced Consistency-Optimized Temporal Belief Representation for POMDPs},
author = {Yunuo Zhang and Baiting Luo and Ayan Mukhopadhyay and Gabor Karsai and Abhishek Dubey},
journal= {arXiv preprint arXiv:2510.21107},
year = {2025}
}
备注
Proceeding of the 39th Conference on Neural Information Processing Systems (NeurIPS'25). Code would be available at https://github.com/scope-lab-vu/ESCORT