用辅助 softmax 多分类器改进变分自编码器

作为通用生成模型架构，VAE 已广泛应用于图像与自然语言处理领域。VAE 通过无监督学习将高维样本数据映射至连续潜变量。在特征潜变量空间中采样，VAE 可构造新的图像或文本数据。作为通用生成模型，原始 VAE 难以良好适配各类数据集与不同结构的神经网络。由于训练过程中需平衡重建精度与潜变量采样便利性，VAE 常出现所谓“后验坍缩”问题，其重建图像也常模糊。本文分析了该问题主因：训练过程中样本变量与潜特征变量间互信息不足。为在模型训练中保持互信息，我们提出使用辅助 softmax 多分类网络结构改进 VAE 训练效果，称为 VAE-AS。我们使用 MNIST 与 Omniglot 数据集测试 VAE-AS 模型。测试结果表明，VAE-AS 在互信息调节与解决后验坍缩问题上效果明显。