后继特征结合无模型与基于模型的强化学习要素
机器学习
2020-10-06 v3 人工智能
摘要
强化学习中的一个关键问题是智能体如何在不同输入之间泛化知识。通过在不同输入间泛化，为一个输入学习到的信息可立即复用于改进对另一输入的预测。复用信息使智能体能够使用更少的数据计算出最优决策策略。状态表示是泛化过程的关键要素，它将高维输入空间压缩为低维潜在状态空间。本文分析了不同潜在状态空间的性质，从而建立了基于模型与无模型强化学习之间的新联系。后继特征（successor features）预测未来观测的频率，构成了基于模型与无模型学习之间的桥梁：学习预测未来期望奖励结果（基于模型智能体的关键特征）等价于学习后继特征。学习后继特征是一种时序差分学习形式，并且等价于学习预测单一策略的效用，这是无模型智能体的特征。借助基于模型强化学习与前继特征之间的联系，我们证明了能够预测未来奖励结果的状态表示可在转移和奖励均变化的情况下泛化。该结果扩展了先前关于后继特征的工作，后者受限于固定转移并假设需重新学习迁移的状态表示。
引用
@article{arxiv.1901.11437,
title = {Successor Features Combine Elements of Model-Free and Model-based Reinforcement Learning},
author = {Lucas Lehnert and Michael L. Littman},
journal= {arXiv preprint arXiv:1901.11437},
year = {2020}
}