OvA-INN:基于可逆神经网络的持续学习
机器学习
2020-06-25 v1 计算机视觉与模式识别
摘要
在持续学习领域中,目标是在无法访问先前任务数据的情况下依次学习多个任务。已有若干解决方案被提出以应对该问题,但它们通常假设用户在测试时知道特定样本所属的任务,或依赖于先前数据的少量样本,且其中大多数在仅以单类批次更新时准确率大幅下降。本文中,我们提出一种新方法OvA-INN,它能够一次学习一个类别且无需存储任何先前数据。为此,我们对每个类别训练一个特定的可逆神经网络(Invertible Neural Network),以提取相关特征来计算该类的似然。在测试时,我们可以通过识别预测出最高似然的网络来预测样本类别。利用该方法,我们展示了如何通过在与特征提取器顶端堆叠可逆网络来利用预训练模型。以此方式,我们在MNIST和CIFAR-100数据集的持续学习特征学习中优于依赖特征学习的SOTA方法。在我们的实验中,逐类训练模型后,在CIFAR-100上达到了72%的准确率。
引用
@article{arxiv.2006.13772,
title = {OvA-INN: Continual Learning with Invertible Neural Networks},
author = {G. Hocquet and O. Bichler and D. Querlioz},
journal= {arXiv preprint arXiv:2006.13772},
year = {2020}
}
备注
to be published in IJCNN 2020