面向增量学习中更好的可塑性-稳定性权衡：一个简单的线性连接器
机器学习
2022-03-16 v3 人工智能
摘要
可塑性-稳定性困境是增量学习的一个主要问题，其中可塑性指学习新知识的能力，而稳定性则保留先前任务的知识。许多方法通过存储先前样本来解决此问题，但在某些应用中，先前任务的训练数据无法合法存储。在这项工作中，我们提出利用损失景观中的模式连通性，在没有任何先前样本的情况下实现更好的可塑性-稳定性权衡。我们分析了为何以及如何连接两个独立优化的网络最优解——针对先前任务的零空间投影和针对当前任务的简单 SGD——能够在保留已学知识和为学习新任务提供足够灵活性之间取得有意义的平衡。这种模式连通性分析也为我们提供了一种新的视角和技术来控制可塑性与稳定性之间的权衡。我们在多个基准数据集上评估了所提出的方法。结果表明，我们的简单方法能取得显著改进，并在过去和当前任务上均表现良好。在 10-split-CIFAR-100 任务上，我们的方法达到了 79.79% 的准确率，提高了 6.02%。我们的方法在 TinyImageNet 上也实现了 6.33% 的准确率提升。代码可在 https://github.com/lingl1024/Connector 获取。
引用
@article{arxiv.2110.07905,
title = {Towards Better Plasticity-Stability Trade-off in Incremental Learning: A Simple Linear Connector},
author = {Guoliang Lin and Hanlu Chu and Hanjiang Lai},
journal= {arXiv preprint arXiv:2110.07905},
year = {2022}
}