PILOT：基于预训练模型的持续学习工具箱
机器学习
2025-03-11 v3 计算机视觉与模式识别
摘要
虽然传统机器学习能有效解决广泛的问题，但它主要在封闭世界设定下运行，在处理流数据时存在局限。作为解决方案，增量学习应运而生以应对涉及新数据到达的真实场景。近来，预训练取得了显著进展并引起了众多研究者的关注。这些预训练模型（PTM）的强劲表现为开发能有效适应真实场景的持续学习算法提供了有前景的途径。因此，探索在增量学习中利用 PTM 变得至关重要。本文介绍了一个称为 PILOT 的基于预训练模型的持续学习工具箱。一方面，PILOT 实现了一些基于预训练模型的最先进类增量学习算法，如 L2P、DualPrompt 和 CODA-Prompt。另一方面，PILOT 也将典型的类增量学习算法（例如 DER、FOSTER 和 MEMO）适配到预训练模型的语境中以评估其有效性。
引用
@article{arxiv.2309.07117,
title = {PILOT: A Pre-Trained Model-Based Continual Learning Toolbox},
author = {Hai-Long Sun and Da-Wei Zhou and De-Chuan Zhan and Han-Jia Ye},
journal= {arXiv preprint arXiv:2309.07117},
year = {2025}
}
备注
Accepted to SCIENCE CHINA Information Sciences. Code is available at https://github.com/sun-hailong/LAMDA-PILOT