BooVAE：用于 VAE 持续学习的提升方法
机器学习
2021-11-04 v3 机器学习
摘要
变分自编码器（VAE）是一种用于无监督学习的深度生成模型，可将观测编码到有意义的潜空间。当任务顺序到达且仅有当前任务数据可用时，VAE 易出现灾难性遗忘。我们解决 VAE 的持续学习问题。已知在非持续设定下，潜空间上先验分布的选择对 VAE 至关重要。我们认为它也有助于避免灾难性遗忘。我们学习聚合后验的近似作为每个任务的先验。该近似被参数化为由在可训练伪输入上评估的编码器诱导的分布的加性混合。我们使用带熵正则化的贪心提升类方法来学习各分量。该方法鼓励分量多样性，这至关重要，因为我们旨在以尽可能少的分量记忆当前任务。基于可学习先验，我们引入一种端到端的 VAE 持续学习方法，并在常用基准（MNIST、Fashion MNIST、NotMNIST）和 CelebA 数据集上给出实证研究。对于每个数据集，所提方法以完全自动的方式避免了灾难性遗忘。
引用
@article{arxiv.1908.11853,
title = {BooVAE: Boosting Approach for Continual Learning of VAE},
author = {Anna Kuzina and Evgenii Egorov and Evgeny Burnaev},
journal= {arXiv preprint arXiv:1908.11853},
year = {2021}
}
备注
Accepted to NeurIPS 2021. 14 pages, 4 figures, 4 tables