一种用于跨异构环境迁移的继承特征新表示
机器学习
2021-07-20 v1
摘要
强化学习中的迁移通常通过任务间的泛化实现。尽管许多研究探讨了奖励函数变化时的知识迁移，但它们都假设环境的动态保持一致。许多现实世界的 RL 问题需要在具有不同动态的环境间迁移。为解决该问题，我们提出一种基于继承特征（successor features）的方法，其中我们用高斯过程对继承特征函数建模，使得源继承特征可被视为目标继承特征函数的含噪观测。我们的理论分析证明了该方法在具有不同动态与奖励的环境中收敛，且用高斯过程建模继承特征函数的误差有界。我们在基准数据集上演示了该方法，并表明其优于当前基线。
引用
@article{arxiv.2107.08426,
title = {A New Representation of Successor Features for Transfer across Dissimilar Environments},
author = {Majid Abdolshah and Hung Le and Thommen Karimpanal George and Sunil Gupta and Santu Rana and Svetha Venkatesh},
journal= {arXiv preprint arXiv:2107.08426},
year = {2021}
}