从未来借取：解决无模型控制中的双重采样问题
最优化与控制
2020-06-12 v1 机器学习
机器学习
摘要
在无模型强化学习中，时序差分方法及其变体与非线性函数逼近结合时会变得不稳定。采用随机梯度下降（SGD）的 Bellman 残差最小化更为稳定，但存在双重采样问题：在给定当前状态下，需要对下一状态的两个独立样本，而通常只有一个样本可用。近期，[Zhu et al, 2020] 的作者提出了从未来借取（BFF）算法以解决预测问题中的该问题。其主要思想是当问题的底层动态足够平滑时，从未来借取额外随机性来近似重采样下一状态。本文将 BFF 算法扩展到基于动作值函数的无模型控制。我们证明当底层动态随动作变化缓慢时，BFF 接近于无偏 SGD。我们通过数值模拟验证了我们的理论发现。
引用
@article{arxiv.2006.06173,
title = {Borrowing From the Future: Addressing Double Sampling in Model-free Control},
author = {Yuhua Zhu and Zach Izzo and Lexing Ying},
journal= {arXiv preprint arXiv:2006.06173},
year = {2020}
}