从价值函数推断转移动力学
机器学习
2025-01-17 v1 人工智能
摘要
在强化学习中，价值函数通常用于求解 Bellman 方程，该方程将当前价值与未来价值相联系。这一时序依赖性暗示价值函数可能包含关于环境转移动力学的隐式信息。通过重新排列 Bellman 方程，我们展示收敛的价值函数编码了环境底层动力学模型。基于这一洞见，我们提出一种简单的方法，直接从价值函数推断动力学模型，从而可能缓解对显式模型学习的需求。此外，我们探讨了下一状态可辨识性的挑战，讨论在何种条件下推断的动力学模型是 well-defined 的。我们的工作为利用价值函数进行动力学建模提供了理论基础，并为连接无模型和有模型强化学习开辟了新途径。
关键词
引用
@article{arxiv.2501.09081,
title = {Inferring Transition Dynamics from Value Functions},
author = {Jacob Adamczyk},
journal= {arXiv preprint arXiv:2501.09081},
year = {2025}
}
备注
Accepted at the AAAI-25 8th Workshop on Generalization in Planning