构建策略子空间以实现可扩展的持续学习
机器学习
2023-03-03 v3 人工智能
摘要
持续获取新知识与新技能的能力对于自主智能体至关重要。现有方法通常基于固定规模模型（难以学习大量多样化行为）或增长规模模型（随任务数量扩展性差）。本文旨在通过设计一种随任务序列自适应增长的方法，在智能体规模与性能之间取得更好平衡。我们提出持续策略子空间（CSP），一种为序列任务训练强化学习智能体而增量构建策略子空间的新方法。该子空间的高表达能力使 CSP 能在许多不同任务上表现良好，同时其规模随任务数量呈亚线性增长。我们的方法不存在遗忘问题，并对新任务表现出正迁移。CSP 在来自两个具有挑战性领域 Brax（运动）和 Continual World（操控）的广泛场景上优于多个流行基线。
引用
@article{arxiv.2211.10445,
title = {Building a Subspace of Policies for Scalable Continual Learning},
author = {Jean-Baptiste Gaya and Thang Doan and Lucas Caccia and Laure Soulier and Ludovic Denoyer and Roberta Raileanu},
journal= {arXiv preprint arXiv:2211.10445},
year = {2023}
}
备注
Accepted at ICLR2023 (notable-top-25%). website: https://continual-subspace-policies-streamlit-app-gofujp.streamlit.app/ code: https://github.com/facebookresearch/salina/tree/main/salina_cl