邻域嵌入变分自编码器
机器学习
2021-03-23 v1 机器学习
摘要
作为最流行的生成框架之一，变分自编码器（VAE）已知会受到称为后验坍缩的现象的困扰，即潜变量变分分布坍缩到先验，尤其是在使用强解码器网络时。在这项工作中，我们分析了坍缩 VAE 的潜变量表示，并提出了一种新颖的模型——邻域嵌入 VAE（NE-VAE），它显式地约束编码器将输入空间中相近的输入编码为潜空间中相近的点。我们观察到，对于报告相似 ELBO、KL 散度甚至互信息分数的 VAE 变体，其在潜变量组织上仍可能表现迥异。在我们的实验中，NE-VAE 能产生定性不同的潜变量表示，且大多数潜变量维度保持活跃，这可能有益于下游潜空间优化任务。NE-VAE 能比其前驱更大程度地防止后验坍缩，并且可以轻松插入任何自编码器框架，而不引入额外的模型组件和复杂的训练流程。
引用
@article{arxiv.2103.11349,
title = {Neighbor Embedding Variational Autoencoder},
author = {Renfei Tu and Yang Liu and Yongzeng Xue and Cheng Wang and Maozu Guo},
journal= {arXiv preprint arXiv:2103.11349},
year = {2021}
}
备注
Paper under review for ICML2021