面向持续强化学习的自激活神经集成方法
机器学习
2023-01-03 v1 人工智能
摘要
智能体能够持续学习新技能而不灾难性地遗忘已有知识，对于发展通用智能体至关重要。大多数解决该问题的方法严重依赖明确定义的任务边界，因而需要人工监督。我们的任务无关方法——自激活神经集成（SANE）——采用模块化架构，旨在不做此类假设的情况下避免灾难性遗忘。在每条轨迹开始时，SANE集成中的一个模块被激活以决定智能体的下一策略。训练期间，按需创建新模块，且只更新被激活的模块，以确保未使用的模块保持不变。该系统使我们的方法能够保留并利用旧技能，同时扩展并学习新技能。我们在视觉丰富的过程生成环境中展示了我们的方法。
引用
@article{arxiv.2301.00141,
title = {Self-Activating Neural Ensembles for Continual Reinforcement Learning},
author = {Sam Powers and Eliot Xing and Abhinav Gupta},
journal= {arXiv preprint arXiv:2301.00141},
year = {2023}
}
备注
Code available here: https://github.com/AGI-Labs/continual_rl