评估面向可部署终身学习的预训练模型
机器学习
2023-12-19 v2
摘要
我们创建了一个用于评估面向可部署终身学习的视觉强化学习（RL）系统的新基准，该系统在精选数据集上进行了预训练，并提出了一种能够保留先前所学 RL 任务知识的可扩展终身学习方法。我们的基准衡量一个可部署终身学习系统在可扩展性、性能和资源利用方面的有效性。我们提出的系统一旦在数据集上预训练，便可被部署以对未见任务执行持续学习。我们提出的方法由一个基于少样本类增量学习（FSCIL）的任务映射器和一个完全使用预训练数据集训练的编码器/骨干网络组成。随后加载与已识别任务相对应的策略参数以执行该任务。我们表明，由于内存占用小且计算资源少，该系统可扩展以纳入大量任务。我们在 Atari 游戏上的 DeLL（Deployment for Lifelong Learning）基准上进行了实验，以确定该系统的有效性。
引用
@article{arxiv.2311.13648,
title = {Evaluating Pretrained models for Deployable Lifelong Learning},
author = {Kiran Lekkala and Eshan Bhargava and Yunhao Ge and Laurent Itti},
journal= {arXiv preprint arXiv:2311.13648},
year = {2023}
}
备注
In submission to CoLLA 2024. Also published in the Proceedings of WACV 2024 Workshop on Pretraining