基于结构相似性的强化学习迁移改进
机器学习
2022-07-29 v1
摘要
迁移学习是开发高性能 RL 智能体日益常用的方法。然而,如何定义源任务与目标任务之间的关系,以及这种关系如何促成成功的迁移,尚不甚明了。我们提出一种称为 SS2(Structural Similarity for Two MDPs,双 MDP 结构相似性)的算法,基于先前开发的 bisimulation 度量计算两个有限 MDP 中状态的状态相似性度量,并证明该度量满足距离度量的性质。随后,通过 GridWorld 导航任务的实证结果,我们提供证据表明,相较于先前的实现,该距离度量可用于提升 Q-Learning 智能体的迁移性能。
引用
@article{arxiv.2207.13813,
title = {Structural Similarity for Improved Transfer in Reinforcement Learning},
author = {C. Chace Ashcraft and Benjamin Stoler and Chigozie Ewulum and Susama Agarwala},
journal= {arXiv preprint arXiv:2207.13813},
year = {2022}
}