通过连续随机不可逆网络生成不连续流形上的数据
机器学习
2021-12-20 v1
摘要
不连续分布的生成对于大多数已知框架（如生成式自编码器和生成对抗网络）而言是一项困难任务。生成式不可逆模型无法准确生成此类分布，需要长时训练且常遭遇模式崩溃。变分自编码器（VAEs）基于保持潜空间为高斯分布以简化采样的思想，允许准确重建，但在生成任务上存在显著局限。在本工作中，我们不使用保持潜空间为高斯分布的方法，而是使用预训练的对比编码器获得聚类的潜空间。然后，对于每个代表单模态子流形的簇，我们训练一个专用的低复杂度网络，从该高斯分布生成此子流形。所提框架基于输入数据与潜空间表示之间互信息最大化的信息论公式。我们推导了代价函数与信息论公式之间的联系。我们将该方法应用于合成二维分布，以展示使用连续随机网络对不连续分布进行重建与生成。
引用
@article{arxiv.2112.09646,
title = {Generation of data on discontinuous manifolds via continuous stochastic non-invertible networks},
author = {Mariia Drozdova and Vitaliy Kinakh and Guillaume Quétant and Tobias Golling and Slava Voloshynovskiy},
journal= {arXiv preprint arXiv:2112.09646},
year = {2021}
}