利用重要性加权控制半监督变分自编码器中生成与推断的交互
机器学习
2020-10-15 v2 计算与语言
摘要
尽管变分自编码器（Variational Autoencoders, VAEs）被广泛用于半监督学习，但其起作用的原因仍不清楚。事实上，无监督目标的加入最常仅被模糊地描述为正则化。该正则化的强度通过降低训练集无标签部分上目标的权重来控制。通过对半监督 VAE 目标的分析，我们观察到它们利用所学生成模型的后验来引导推断模型学习部分观测的潜变量。我们表明，基于这一观察，有可能对无监督目标在训练过程中的影响获得更精细的控制。利用重要性加权，我们推导了两个新目标，分别优先处理部分观测的潜变量或未观测的潜变量之一。在 IMDB 英文情感分析数据集和 AG News 主题分类数据集上的实验显示了我们的优先机制带来的改进，并展现出与我们对半监督 VAE 内部工作机制描述一致的行为。
引用
@article{arxiv.2010.06549,
title = {Controlling the Interaction Between Generation and Inference in Semi-Supervised Variational Autoencoders Using Importance Weighting},
author = {Ghazi Felhi and Joseph Leroux and Djamé Seddah},
journal= {arXiv preprint arXiv:2010.06549},
year = {2020}
}