形态异质下深度强化学习中的技能迁移
机器学习
2019-08-21 v2 机器学习
摘要
面向强化学习（RL）领域的迁移学习方法利用已有知识促进新技能的获取。绝大多数现有方法假设智能体具有相同的设计，例如相同的形状与动作空间。本文研究在形态不同智能体（MDAs）间迁移已获技能的问题。例如，假设双足智能体已被训练向前移动，该技能能否迁移至单腿跳跃者，使其同一任务的训练过程更具采样效率？我们将此问题构建为子空间学习问题，旨在推断代表 MDAs 间通用控制机制的潜在因子。我们提出一种新颖的配对变分编码器-解码器模型 PVED，将 MDAs 的控制解耦为共享因子与智能体特有因子。随后利用共享因子通过 RL 进行技能迁移。理论上，我们推导定理说明 PVED 性能如何依赖于共享因子与智能体形态。实验上，PVED 已在四个 MuJoCo 环境中广泛验证。我们展示了其与 SOTA 方法及若干消融情形的性能对比，可视化并解释了隐藏因子，并指出了未来改进方向。
引用
@article{arxiv.1908.05265,
title = {Skill Transfer in Deep Reinforcement Learning under Morphological Heterogeneity},
author = {Yang Hu and Giovanni Montana},
journal= {arXiv preprint arXiv:1908.05265},
year = {2019}
}