基于信息价值的基于模型与无模型控制间的仲裁
机器学习
2019-12-12 v1 人工智能
摘要
已有大量尝试使用基于模型与无模型的方法来解释一般学习行为。基于模型的控制灵活但规划计算代价高,而无模型的控制快速但不灵活。因此基于模型的控制不受奖励贬值和偶然性退化影响。已有多种仲裁方案被提出,以分别实现基于模型与无模型控制的数据效率与计算效率。在此背景下,我们提出一种定量的基于'信息价值'的两种控制器间仲裁,以建立技能学习的通用计算框架。相互作用的基于模型与无模型强化学习过程使用基于不确定性的信息价值进行仲裁。我们进一步表明,我们的算法优于Q-learning以及带经验回放的Q-learning。
引用
@article{arxiv.1912.05453,
title = {Value-of-Information based Arbitration between Model-based and Model-free Control},
author = {Krishn Bera and Yash Mandilwar and Bapi Raju},
journal= {arXiv preprint arXiv:1912.05453},
year = {2019}
}