CoSCL：小型持续学习器的协作优于单一大型学习器
机器学习
2022-07-15 v1 人工智能
摘要
持续学习要求对一系列任务具备增量兼容性。然而，模型架构的设计仍是一个开放问题：一般而言，用共享参数集学习所有任务会遭受任务间严重干扰；而用专用参数子空间学习每个任务则受限于可扩展性。在本工作中，我们从理论上分析了持续学习中学习可塑性与记忆稳定性的泛化误差，其可被统一上界为（1）任务分布之间的差异，（2）损失景观的平坦度，以及（3）参数空间的覆盖度。进而，受以多个并行区室处理序列经验的鲁棒生物学习系统启发，我们提出小型持续学习器协作（Cooperation of Small Continual Learners, CoSCL）作为一种通用的持续学习策略。具体而言，我们给出一种含固定数量较窄子网络的架构，以并行学习所有增量任务，其可通过改进上界的三个分量自然降低上述两类误差。为强化此优势，我们通过对这些子网络的特征表示所作预测的差异进行惩罚来鼓励其协作。在固定参数预算下，CoSCL 能大幅提升多种代表性持续学习方法（例如在 CIFAR-100-SC 上提升达 10.64%、CIFAR-100-RS 上 9.33%、CUB-200-2011 上 11.45%、Tiny-ImageNet 上 6.72%），并取得新的最先进性能。
引用
@article{arxiv.2207.06543,
title = {CoSCL: Cooperation of Small Continual Learners is Stronger than a Big One},
author = {Liyuan Wang and Xingxing Zhang and Qian Li and Jun Zhu and Yi Zhong},
journal= {arXiv preprint arXiv:2207.06543},
year = {2022}
}