改进基于 VAE 的表示学习
机器学习
2022-05-31 v1 机器学习
摘要
变分自编码器(VAE)等潜变量模型常用于学习图像表示。然而,对于语义分类等下游任务,VAE 学到的表示不如其他非潜变量模型有竞争力。这引发了一些关于潜变量模型是否从根本上不适合表示学习的猜测。本工作中,我们研究良好表示需要什么性质,以及不同 VAE 结构选择如何影响所学性质。我们展示,通过使用偏好学习局部特征的解码器,剩余的全局特征可被潜变量充分捕获,从而显著提升下游分类任务性能。我们进一步将所提模型应用于半监督学习任务,并展示了数据效率的提升。
引用
@article{arxiv.2205.14539,
title = {Improving VAE-based Representation Learning},
author = {Mingtian Zhang and Tim Z. Xiao and Brooks Paige and David Barber},
journal= {arXiv preprint arXiv:2205.14539},
year = {2022}
}