面向类增量学习的在线超参数优化

类增量学习（CIL）旨在训练一个分类模型，同时类别数量逐阶段增加。CIL的一个固有挑战是稳定性-可塑性权衡，即CIL模型应保持稳定以保留旧知识，同时保持可塑性以吸收新知识。然而，现有的CIL模型都无法在不同的数据接收设置下实现最优权衡——通常，从一半开始训练（TFH）的设置需要更多稳定性，而从零开始训练（TFS）的设置则需要更多可塑性。为此，我们设计了一种在线学习方法，可以在不知道先验设置的情况下自适应地优化权衡。具体来说，我们首先介绍了影响权衡的关键超参数，例如知识蒸馏（KD）损失权重、学习率和分类器类型。然后，我们将超参数优化过程形式化为一个在线马尔可夫决策过程（MDP）问题，并提出了一个特定的算法来解决它。我们应用局部估计奖励和经典的赌博机算法Exp3来解决将在线MDP方法应用于CIL协议时遇到的问题。我们的方法在TFH和TFS设置下均能持续改进表现最佳的CIL方法，例如，与最先进技术相比，在ImageNet-Full上将TFH和TFS的平均准确率提升了2.2个百分点。