TKIL：基于切向核的类平衡增量学习方法
机器学习
2022-06-20 v1 人工智能
神经元与认知
机器学习
摘要
当以顺序方式学习新任务时，深度神经网络倾向于遗忘先前学习的任务，这一现象称为灾难性遗忘。类增量学习方法旨在通过保留少量先前学习任务的代表样本并从中蒸馏知识来解决该问题。然而，现有方法难以平衡各类别间的性能，因为它们通常使模型过拟合于最新任务。在我们的工作中，我们提出通过引入一种新颖的增量学习切向核(TKIL)方法来应对这些挑战，该方法实现了类平衡性能。该方法保留跨类别的表示并平衡每个类别的准确率，从而取得更好的总体准确率与方差。TKIL 方法基于神经切向核(NTK)，其将神经网络在无限宽度极限下的收敛行为描述为一个核函数。在 TKIL 中，特征层之间的梯度被视为这些层表示之间的距离，并可定义为梯度切向核损失(GTK loss)，使其与权重平均一同被最小化。这使得 TKIL 能在推理时自动识别任务并快速适应。在 CIFAR-100 与 ImageNet 数据集上各种增量学习设定下的实验表明，这些策略使 TKIL 优于现有的最先进方法。
引用
@article{arxiv.2206.08492,
title = {TKIL: Tangent Kernel Approach for Class Balanced Incremental Learning},
author = {Jinlin Xiang and Eli Shlizerman},
journal= {arXiv preprint arXiv:2206.08492},
year = {2022}
}