终身变分自编码器混合模型
机器学习
2021-07-13 v1 人工智能
计算机视觉与模式识别
摘要
本文提出一种端到端的终身学习专家混合模型。每个专家由一个变分自编码器（VAE）实现。混合系统中的专家通过最大化给定训练样本对数似然上的个体分量证据下界混合（MELBO）进行联合训练。混合中的混合系数控制各专家在目标表示中的贡献。这些系数从狄利克雷分布中采样，其参数在终身学习中通过非参数估计确定。当新任务与先前学习的任务相似时，模型可快速学习。所提出的终身 VAE 混合模型（L-MVAE）在学习全新任务时以新分量扩展其架构。训练后，我们的模型在输入新数据样本时可自动确定待使用的相关专家。该机制有利于内存效率和所需计算成本，因为推理时仅使用一个专家。L-MVAE 推理模型能够在与不同任务相关联的数据域的联合潜空间中进行插值，并被证明对解耦学习表示是高效的。
引用
@article{arxiv.2107.04694,
title = {Lifelong Mixture of Variational Autoencoders},
author = {Fei Ye and Adrian G. Bors},
journal= {arXiv preprint arXiv:2107.04694},
year = {2021}
}
备注
Accepted by IEEE Transactions on Neural Networks and Learning Systems