基于变分自编码器与相似性学习的增量式类别学习
机器学习
2023-03-15 v3 计算机视觉与模式识别
摘要
神经网络在增量学习过程中的灾难性遗忘仍是一个具有挑战性的问题。先前的研究考察了全连接网络中的灾难性遗忘，部分早期工作探索了激活函数和学习算法。神经网络的应用已扩展到包含相似性学习。理解相似性学习损失函数如何受灾难性遗忘影响具有重要意义。我们的研究考察了增量式类别学习中四种著名基于相似性的损失函数的灾难性遗忘。这些损失函数为 Angular、Contrastive、Center 和 Triplet 损失。我们的结果表明，在多个数据集上，不同损失函数的灾难性遗忘率存在差异。Angular 损失受影响最小，其次是 Contrastive、Triplet 损失，以及采用良好挖掘技术的 Center 损失。我们实现了三种已有的增量学习技术：iCaRL、EWC 和 EBLL。我们进一步提出了一种新技术，使用变分自编码器（VAEs）生成表征作为经由网络中间层传递的范例。我们的方法优于三种已有的最先进（SOTA）技术。我们表明，在相似性学习的增量学习中无需存储图像（范例）。VAEs 生成的表征有助于保留先前知识所使用的嵌入空间区域，从而使新知识不会“覆盖”它。
引用
@article{arxiv.2110.01303,
title = {Incremental Class Learning using Variational Autoencoders with Similarity Learning},
author = {Jiahao Huo and Terence L. van Zyl},
journal= {arXiv preprint arXiv:2110.01303},
year = {2023}
}