EsaCL：稀疏模型的高效持续学习

持续学习场景中的一个关键挑战是高效地学习一系列任务，同时不遗忘如何执行先前学到的任务。针对这一问题，许多现有方法要么在先前任务上重新训练模型，要么扩展模型以适应新任务。然而，这些方法通常面临存储和计算需求增加的问题，而在稀疏模型的情况下，由于稀疏化后需要昂贵的重新训练，这一问题更为严重。为应对这一挑战，我们提出了一种名为稀疏模型高效持续学习（EsaCL）的新方法，该方法能够自动剪枝冗余参数而不对模型的预测能力产生不利影响，并避免了重新训练的需要。我们对参数剪枝下的损失景观进行了理论分析，并设计了一种方向性剪枝（SDP）策略，该策略依据损失函数相对于模型参数的锐度来指导剪枝。SDP确保模型在预测精度损失最小的情况下，加速每个阶段稀疏模型的学习。为加速模型更新，我们引入了一种智能数据选择（IDS）策略，该策略能够识别用于估计损失景观的关键实例，从而显著提高数据效率。实验结果表明，EsaCL在三个持续学习基准上取得了与最先进方法相当的性能，同时大幅减少了内存和计算资源的使用。