类增量学习中保持判别力与公平性
计算机视觉与模式识别
2019-11-19 v1
摘要
深度神经网络（DNNs）已被应用于类增量学习，其旨在解决持续学习新类的常见现实问题。标准 DNNs 的一个缺陷是容易发生灾难性遗忘。知识蒸馏（KD）是缓解该问题的常用技术。在本文中，我们证明它确实能帮助模型在旧类内输出更具判别力的结果。然而，它无法缓解模型倾向于将对象分类到新类的问题，导致 KD 的积极作用被掩盖和受限。我们观察到造成灾难性遗忘的一个重要因素是类增量学习中最后全连接（FC）层的权重高度偏置。本文中，我们基于上述观察提出一种简单有效的解决方案以应对灾难性遗忘。首先，我们利用 KD 维持旧类内的判别力。然后，为进一步维持旧类与新类之间的公平性，我们提出权重对齐（WA），在正常训练过程后修正 FC 层中的偏置权重。与以往工作不同，WA 不需要任何额外参数或预先的验证集，因为它利用了偏置权重自身提供的信息。所提方法在 ImageNet-1000、ImageNet-100 和 CIFAR-100 上于多种设置下进行了评估。实验结果表明，该方法能有效缓解灾难性遗忘，并显著优于当前最优（SOTA）方法。
引用
@article{arxiv.1911.07053,
title = {Maintaining Discrimination and Fairness in Class Incremental Learning},
author = {Bowen Zhao and Xi Xiao and Guojun Gan and Bin Zhang and Shutao Xia},
journal= {arXiv preprint arXiv:1911.07053},
year = {2019}
}