信用分配中的前瞻与后见
机器学习
2020-10-27 v1 人工智能
机器学习
摘要
我们解决强化学习中的信用分配问题，并探讨有关智能体如何最佳利用额外计算来传播新信息的基本问题，即通过世界内部模型进行规划以改进其预测。特别地，我们致力于理解作为通过前向模型实现的前瞻、或作为借助后向模型运作的后见所采用的规划所带来的收益与特性。我们在精心构建的场景中确立了这两种规划机制的各自优点、局限性与互补性质。此外，我们研究了模型中在规划中的最佳使用，主要关注应于哪些状态对预测进行（重新）评估的选择。最后，我们讨论了模型估计问题，并强调了一系列从显式环境动态预测器到更抽象的规划器感知模型的延伸方法。
引用
@article{arxiv.2010.13685,
title = {Forethought and Hindsight in Credit Assignment},
author = {Veronica Chelu and Doina Precup and Hado van Hasselt},
journal= {arXiv preprint arXiv:2010.13685},
year = {2020}
}