关于分布 Bellman 方程的解
机器学习
2023-05-29 v3 机器学习
概率论
摘要
在分布强化学习中，不仅考虑期望回报，还考虑策略的完整回报分布。固定策略的回报分布由相关的分布 Bellman 方程的解给出。在本注记中，我们考虑一般的分布 Bellman 方程，并研究其解的存在性与唯一性以及回报分布的尾部性质。我们给出回报分布存在与唯一性的充要条件，并识别出正则变化情形。我们将分布 Bellman 方程与多元仿射分布方程相联系。我们证明分布 Bellman 方程的任一解均可作为多元仿射分布方程某解的边缘律向量获得。这使得此类方程的一般理论可应用于分布强化学习设定。
引用
@article{arxiv.2202.00081,
title = {On solutions of the distributional Bellman equation},
author = {Julian Gerstenberg and Ralph Neininger and Denis Spiegel},
journal= {arXiv preprint arXiv:2202.00081},
year = {2023}
}
备注
Largely revised version to appear in Electron. Res. Arch. (Special Issue: Mathematics of Machine Learning and Related Topics)