从未来借取：一种应对双重采样问题的尝试
最优化与控制
2020-09-30 v2 数值分析
数值分析
摘要
对于无模型强化学习，随机Bellman残差最小化的主要困难之一是双重采样问题，即：在无模型设定下仅能获得下一个状态的单个样本，而为了执行无偏随机梯度下降，需要两个独立的下一个状态样本。我们基于从未来借取额外随机性的思想，提出了解决该问题的新算法。当转移核随状态缓慢变化时，新算法的训练轨迹被证明接近于无偏随机梯度下降的训练轨迹。我们给出了在表格和神经网络设定下策略评估的数值结果，以证实理论发现。
引用
@article{arxiv.1912.00304,
title = {Borrowing From the Future: An Attempt to Address Double Sampling},
author = {Yuhua Zhu and Lexing Ying},
journal= {arXiv preprint arXiv:1912.00304},
year = {2020}
}