通过图像到图像翻译实现相关强化学习任务的迁移学习
计算机视觉与模式识别
2019-07-05 v6 人工智能
机器学习
摘要
尽管深度强化学习（Deep RL）在从原始像素学习控制策略方面取得了显著成功，但所得模型并不具备泛化能力。我们证明，训练好的智能体在面对微小视觉变化时完全失效，并且微调——常见的迁移学习范式——无法适应这些变化，以至于从头重新训练模型反而更快。我们表明，通过将视觉迁移任务与控制策略分离，我们实现了显著更好的样本效率与迁移行为，使在源任务上训练的智能体能够很好地迁移到目标任务。从目标域到源域的视觉映射使用未对齐GAN（unaligned GANs）完成，由此得到的控制策略可利用不完美演示的模仿学习进一步优化。我们在Breakout游戏的合成视觉变体，以及任天堂驾车游戏Road Fighter的连续关卡之间的迁移上演示了该方法。我们方法的可视化可见 https://youtu.be/4mnkzYyXMn4 与 https://youtu.be/KCGTrQi6Ogo 。
引用
@article{arxiv.1806.07377,
title = {Transfer Learning for Related Reinforcement Learning Tasks via Image-to-Image Translation},
author = {Shani Gamrian and Yoav Goldberg},
journal= {arXiv preprint arXiv:1806.07377},
year = {2019}
}
备注
Proceedings of the 36th International Conference on Machine Learning (ICML 2019)