元强化学习中的超网络
机器学习
2022-10-21 v1 人工智能
机器人学
摘要
由于在样本效率方面的不足，在真实世界机器人任务上训练强化学习（RL）智能体通常仍不切实际。多任务 RL 与元 RL 旨在通过在与相关任务分布上泛化来提升样本效率。然而，实践中这十分困难：在多任务 RL 中，最先进的方法常无法超越一种退化解——即简单地分别学习每个任务。超网络是一条有前景的推进路径，因为它们既能复现退化解的分离策略，又允许跨任务泛化，且适用于元 RL。但是，来自监督学习的证据表明超网络性能对初始化高度敏感。在本文中，我们 1）表明超网络初始化在元 RL 中也是关键因素，且朴素初始化会导致糟糕性能；2）提出一种新颖的超网络初始化方案，其匹配或超越了针对监督场景提出的最先进方法的性能，同时更简单且更通用；3）使用该方法在多个模拟机器人基准上评估，表明超网络能够提升元 RL 中的性能。
引用
@article{arxiv.2210.11348,
title = {Hypernetworks in Meta-Reinforcement Learning},
author = {Jacob Beck and Matthew Thomas Jackson and Risto Vuorio and Shimon Whiteson},
journal= {arXiv preprint arXiv:2210.11348},
year = {2022}
}
备注
Published at CoRL 2022