更小即更好：基于回放的持续学习中样本数量/质量权衡分析
计算机视觉与模式识别
2022-05-02 v4
摘要
随着学习系统可用数据规模与异质性的增加，设计能够在动态变化环境中学习的机器与算法已成为日益热门的问题。因此，持续学习的关键问题已成为解决连接系统的稳定性-可塑性困境，因为它们需要在不遗忘已学知识的情况下调整模型。在此背景下，基于回放的方法（即学习器利用记忆重访过去数据的方案）已被证明非常有效，达到了最先进的性能。在我们的研究中，我们采用多种数据缩减方法来增加可存储于记忆中的样本数量，从而对记忆数量/质量权衡进行分析。具体而言，我们研究了深度编码器等复杂样本压缩技术，也研究了图像缩放和线性降维等简单方法。我们的发现表明，最优权衡严重偏向样本数量，其中使用多个重度压缩样本的回放方法轻松胜过拥有相同可用记忆量的先进方法。此外，在高记忆配置下，提取空间结构并结合极端缩放（约 8×8 图像）的深度方法产生最佳结果；而在因训练记忆需求而无法使用深度方法的记忆受限配置中，极限学习机（ELM）具有明显优势。
引用
@article{arxiv.2105.14106,
title = {Smaller Is Better: An Analysis of Instance Quantity/Quality Trade-off in Rehearsal-based Continual Learning},
author = {Francesco Pelosin and Andrea Torsello},
journal= {arXiv preprint arXiv:2105.14106},
year = {2022}
}
备注
Accepted at IJCNN 2022