利用子空间中的泛化实现更快速的基于模型的学习
机器学习
2017-10-30 v2 人工智能
机器学习
摘要
由于状态空间中缺乏足够的泛化，强化学习（RL）中的常用方法学习速度缓慢，尤其是在早期学习尝试中。本文介绍了一种在离散状态空间中基于模型的方法，通过利用子空间经验中的泛化，在所需经验量（而非所需计算时间）方面提升学习速度。子空间通过选择原始状态表示（全空间）中的特征子集形成。子空间中的泛化和更快速学习源于从全空间到子空间中每个状态的多对一经验映射。然而，由于子空间中固有的感知混叠，每个子空间所建议的策略通常不会收敛到最优策略。我们的方法称为基于子空间的模型学习（MoBLeS），它计算全空间和子空间中估计 Q 值的置信区间。这些置信区间用于决策，使得智能体既能最大程度地从可能的泛化中受益，又能避免子空间中感知混叠的不利影响。我们从理论上研究了 MoBLeS 收敛到最优策略的性质。此外，我们通过若干实验表明，MoBLeS 提高了早期试验中的学习速度。
引用
@article{arxiv.1710.08012,
title = {Exploiting generalization in the subspaces for faster model-based learning},
author = {Maryam Hashemzadeh and Reshad Hosseini and Majid Nili Ahmadabadi},
journal= {arXiv preprint arXiv:1710.08012},
year = {2017}
}