TempLe：用于样本高效多任务强化学习的转移模板学习
机器学习
2021-03-09 v2 机器学习
摘要
在各种环境中迁移知识对于在线高效学习多个任务十分重要。多数现有方法直接利用先前学习的模型或先前学习的最优策略来学习新任务。然而，当底层模型或最优策略在任务间差异显著时，这些方法可能效率低下。本文提出模板学习（TempLe），这是首个可应用于具有不同状态/动作空间任务的多任务强化学习的 PAC-MDP 方法。TempLe 生成转移动态模板，即跨任务转移动态的抽象，即便底层模型或最优策略共性有限，也能通过提取任务间相似性获得样本效率。我们分别针对“在线”与“有限模型”设定给出两种算法。我们证明所提 TempLe 算法取得的样本复杂度远低于单任务学习器或最先进多任务方法。我们通过系统设计的实验表明，TempLe 方法在各设定与机制下普遍优于最先进多任务方法（无论是否为 PAC-MDP）。
引用
@article{arxiv.2002.06659,
title = {TempLe: Learning Template of Transitions for Sample Efficient Multi-task RL},
author = {Yanchao Sun and Xiangyu Yin and Furong Huang},
journal= {arXiv preprint arXiv:2002.06659},
year = {2021}
}