流式自适应非参数变分自编码器
机器学习
2019-10-14 v2 机器学习
摘要
我们开发了一种数据驱动方法，用于对流式数据同时进行聚类和端到端特征学习，并能够自适应地检测新兴数据中的新簇。我们的方法，自适应非参数变分自编码器（AdapVAE），通过贝叶斯非参数（BNP）建模框架结合深度神经网络（DNNs）进行特征学习来学习簇归属。我们开发了一种联合在线变分推断算法，通过迭代优化证据下界（ELBO）来同时学习特征表示和聚类分配。我们通过采用来自使用先前数据训练好的 AdapVAE 的生成样本来解决流式数据的灾难性遗忘 \citep{kirkpatrick2017overcoming} 挑战，从而避免了存储和重用过去数据的需要。我们展示了我们模型的优势，包括在不丢弃从过去数据中学到的有用信息的情况下自适应新簇检测、高质量样本生成，以及在图像和文本语料库基准数据集上与端到端批处理模式聚类方法相当的聚类性能。
引用
@article{arxiv.1906.03288,
title = {Streaming Adaptive Nonparametric Variational Autoencoder},
author = {Tingting Zhao and Zifeng Wang and Aria Masoomi and Jennifer G. Dy},
journal= {arXiv preprint arXiv:1906.03288},
year = {2019}
}