基于动态变分自编码器的后见之明学习因子化部分可观测马尔可夫决策过程的因果动态
机器学习
2024-11-13 v1 机器学习
摘要
从部分观测中学习底层环境动态的表示是机器学习中的一个关键挑战。在部分可观测马尔可夫决策过程（POMDP）的背景下，状态表示通常从过去观测和动作的历史中推断。我们证明，融入未来信息对于准确捕捉因果动态和增强状态表示至关重要。为此，我们引入了一种动态变分自编码器（DVAE），旨在从POMDP中的离线轨迹学习因果马尔可夫动态。我们的方法采用了一个扩展的后见之明框架，在因子化POMDP（factored-POMDP）设定中整合了过去、当前和多步未来信息。实证结果表明，与基于历史和典型的后见之明模型相比，该方法能更有效地揭示控制隐藏状态转移的因果图。
引用
@article{arxiv.2411.07832,
title = {Dynamical-VAE-based Hindsight to Learn the Causal Dynamics of Factored-POMDPs},
author = {Chao Han and Debabrota Basu and Michael Mangan and Eleni Vasilaki and Aditya Gilra},
journal= {arXiv preprint arXiv:2411.07832},
year = {2024}
}