通过度量学习实现更好的知识保持
机器学习
2020-11-30 v1 神经与进化计算
摘要
在持续学习中，新的类别可能随时间引入，理想的学习系统应在原始类别和新类别上均表现良好。尽管深度神经网络在经典监督设定中取得了巨大成功，但已知若当前学习阶段遇到的样本与先前阶段遇到的样本差异极大，它们会遗忘先前阶段习得的知识。本文提出一种新方法，既能利用深度神经网络的表达能力，又能在引入新类别时抵抗遗忘。我们发现，相较于现有方法，所提方法在 CIFAR-10 上将遗忘降低 2.3 至 6.9 倍，相较于 oracle 基线在 ImageNet 上降低 1.8 至 2.7 倍。
引用
@article{arxiv.2011.13149,
title = {Better Knowledge Retention through Metric Learning},
author = {Ke Li and Shichong Peng and Kailas Vodrahalli and Jitendra Malik},
journal= {arXiv preprint arXiv:2011.13149},
year = {2020}
}