模型规模对在线持续学习中灾难性遗忘的影响
机器学习
2024-07-02 v1 计算机视觉与模式识别
摘要
本研究探讨了模型规模对在线持续学习性能的影响，重点关注灾难性遗忘。采用不同规模的 ResNet 架构，研究网络深度和宽度如何影响在使用 SplitCIFAR-10 数据集进行类别递增学习中的模型性能。关键发现表明，更大的模型并不必然保证更好的持续学习表现；事实上，它们在面对新任务时往往适应性更差，尤其是在在线设置下。这些结果挑战了更大模型天然缓解灾难性遗忘的观念，凸显了模型规模与持续学习效能之间复杂的关系。这一研究为更深入理解模型可扩展性及其在持续学习情境中的实际意义作出贡献。
引用
@article{arxiv.2407.00176,
title = {The impact of model size on catastrophic forgetting in Online Continual Learning},
author = {Eunhae Lee},
journal= {arXiv preprint arXiv:2407.00176},
year = {2024}
}