基于预测未来帧哈希的深度强化学习知情探索
机器学习
2018-04-30 v2 人工智能
机器学习
摘要
在深度强化学习（RL）任务中，高效的探索机制应能够鼓励智能体采取导致较不频繁状态的行为，这些状态可能产生更高的未来累积回报。然而，预知未来和评估状态的频繁程度都是非平凡的任务，特别是对于深度 RL 领域，其中状态由高维图像帧表示。在本文中，我们提出了一种用于深度 RL 的新型知情探索框架，其中我们为 RL 智能体构建了预测未来转移并以有意义的方式评估预测未来帧频繁程度的能力。为此，我们训练了一个深度预测模型，给定状态-动作对来预测未来帧，以及一个卷积自编码器模型来对所见帧进行哈希。此外，为了利用从所见帧导出的计数来评估预测帧的频繁程度，我们解决了在潜在特征级别匹配预测未来帧与其对应所见帧的挑战。通过这种方式，我们推导出一个可靠的度量，用于评估每个动作所指未来方向的新颖性，从而告知智能体去探索最不频繁的方向。
引用
@article{arxiv.1707.00524,
title = {Hashing over Predicted Future Frames for Informed Exploration of Deep Reinforcement Learning},
author = {Haiyan Yin and Jianda Chen and Sinno Jialin Pan},
journal= {arXiv preprint arXiv:1707.00524},
year = {2018}
}