基于全概率模型的持续学习
机器学习
2021-04-20 v1 机器学习
摘要
我们提出一种基于机器学习的全概率（或生成式）模型的持续学习（CL）方法。与例如 GAN 那种在可生成样本意义下“生成”的模型不同，全概率模型旨在直接对数据分布建模。因此，它们提供了与持续学习高度相关的功能，例如密度估计（离群值检测）与样本生成。作为生成式持续学习的具体实现，我们提出高斯混合重演（GMR）。GMR 是一种伪重演方法，使用一个高斯混合模型（GMM）实例同时实现生成器与分类器功能。基于 MNIST、FashionMNIST 和 Devanagari 基准，我们首先展示了通过 GMM 密度估计的无监督任务边界检测，我们也将其用于拒绝非典型的生成样本。此外，我们表明 GMR 能够像 cGAN 那样进行类条件采样。最后，我们验证了尽管结构简洁，GMR 在常见的类增量学习问题上以极具竞争力的时间与内存复杂度取得了最先进的性能。
引用
@article{arxiv.2104.09240,
title = {Continual Learning with Fully Probabilistic Models},
author = {Benedikt Pfülb and Alexander Gepperth and Benedikt Bagus},
journal= {arXiv preprint arXiv:2104.09240},
year = {2021}
}
备注
Accepted as Findings at the CLVISION2021 workshop, 11 pages, 6 figures