SHOT-VAE：具有标签感知ELBO近似的半监督深度生成模型
机器学习
2020-12-09 v4
摘要
半监督变分自编码器（VAE）已取得强劲结果，但也遇到了良好ELBO值并不总是意味着准确推断结果这一挑战。本文中，我们研究并提出了该问题的两个原因：(1) ELBO目标无法直接利用标签信息。(2) 存在瓶颈值，在此值之后继续优化ELBO不会改善推断精度。基于实验结果，我们提出SHOT-VAE以解决这些问题且不引入额外先验知识。SHOT-VAE提供两点贡献：(1) 一种名为smooth-ELBO的新ELBO近似，将标签预测损失整合进ELBO。(2) 一种基于最优插值的近似，通过减小ELBO与数据似然之间的差距来打破ELBO值瓶颈。SHOT-VAE取得了良好性能，在CIFAR-100上以10k标签达到25.30%错误率，并在CIFAR-10上以4k标签将错误率降至6.11%。
引用
@article{arxiv.2011.10684,
title = {SHOT-VAE: Semi-supervised Deep Generative Models With Label-aware ELBO Approximations},
author = {Hao-Zhe Feng and Kezhi Kong and Minghao Chen and Tianye Zhang and Minfeng Zhu and Wei Chen},
journal= {arXiv preprint arXiv:2011.10684},
year = {2020}
}
备注
12 pages, 6 figures, Accepted for presentation at AAAI2021