保持与学习：通过约束潜空间实现神经网络中知识保留的持续学习
计算机视觉与模式识别
2018-05-29 v1
摘要
数据是机器学习中最重要的因素之一。然而，即便拥有高质量数据，仍存在数据访问受限的情形。例如，由于隐私问题，来自外部的医学数据访问受到严格限制。在此情况下，我们必须在对应阶段仅以可访问的数据顺序学习模型。本工作中，我们提出一种通过建模高层特征空间与输出空间使其相互信息丰富、并在训练中将特征向量约束于所建空间内来保留已学知识的新方法。所提方法易于实现，只需在目标函数中添加重构损失即可应用。我们在 CIFAR-10/100 与胸部 X 光数据集上评估了该方法，并展示了相比先前方法在知识保留方面的优势。
引用
@article{arxiv.1805.10784,
title = {Keep and Learn: Continual Learning by Constraining the Latent Space for Knowledge Preservation in Neural Networks},
author = {Hyo-Eun Kim and Seungwook Kim and Jaehwan Lee},
journal= {arXiv preprint arXiv:1805.10784},
year = {2018}
}
备注
accepted for presentation at MICCAI 2018