面向高效持续学习的类自适应采样策略
机器学习
2023-11-29 v1 计算机视觉与模式识别
摘要
持续学习（CL）旨在获取新知识的同时保留以往经验信息而不遗忘。尽管基于缓冲区的方法（即保留以往任务的样本）已取得可接受性能，但如何分配缓冲区仍是一项关键挑战。近期研究多聚焦于改进这些方法，却常未能充分考虑样本对学习过程的不同影响，且频繁忽略所学习类别/概念的复杂性。一般而言，这些方法未直接考虑各个类别的贡献。然而，我们的研究表明，较难的类别比较易的类别需要保留更多样本。为解决此问题，我们提出一种名为“类自适应采样策略”（CASP）的新方法与策略，动态分配缓冲区内的存储空间。通过利用类别贡献与难度的概念，CASP自适应管理缓冲区空间，使某些类别占据更大缓冲比例，同时减少其他类别的存储。该方法显著提升了知识保留与利用的效率。CASP提供了一种通用方案以提升CL的性能与效率，满足动态缓冲区分配需求，适应不同类别随时间变化的贡献及其学习复杂性。
引用
@article{arxiv.2311.16485,
title = {Class-Adaptive Sampling Policy for Efficient Continual Learning},
author = {Hossein Rezaei and Mohammad Sabokrou},
journal= {arXiv preprint arXiv:2311.16485},
year = {2023}
}