Wasserstein信仰者：通过可靠隐空间模型学习部分可观测环境的信念更新
机器学习
2023-10-27 v3 人工智能
摘要
部分可观测马尔可夫决策过程（POMDPs）用于对智能体无法感知完整状态的环境建模。因此，智能体需要考虑过去的观测与动作进行推理。然而，由于历史空间的指数级增长，简单记忆完整历史通常是难以处理的。维持一个对真实状态信念建模的概率分布可作为历史的充分统计量，但其计算需要访问环境模型且通常难以处理。虽然SOTA算法使用循环神经网络压缩观测-动作历史以学习充分统计量，但它们缺乏成功保证并可能导致次优策略。为克服这一点，我们提出Wasserstein信念更新器，一种学习POMDP隐空间模型及信念更新近似的RL算法。我们的方法在近似质量上带有理论保证，确保我们输出的信念可用于学习最优值函数。
引用
@article{arxiv.2303.03284,
title = {The Wasserstein Believer: Learning Belief Updates for Partially Observable Environments through Reliable Latent Space Models},
author = {Raphael Avalos and Florent Delgrange and Ann Nowé and Guillermo A. Pérez and Diederik M. Roijers},
journal= {arXiv preprint arXiv:2303.03284},
year = {2023}
}