论将归纳偏置引入变分自编码器
机器学习
2022-02-16 v2 机器学习
摘要
我们解释了为何直接改变先验会是一种出奇无效的将归纳偏置引入 VAE 的机制，并介绍了一种简单而有效的替代方法：中间潜空间 VAE（InteL-VAEs）。InteL-VAEs 使用一组中间潜变量来控制编码过程的随机性，再以封装了我们所需归纳偏置的参数化函数将这些变量映射到潜表示。这使我们能对所学表示施加稀疏性或聚类等性质，并将人类知识融入生成模型。改变先验仅通过正则化编码器间接鼓励某种行为，而 InteL-VAEs 能直接强制所需特征。此外，它们规避了非高斯先验引起的计算与编码器设计问题，同时通过训练参数化映射函数获得额外灵活性。我们表明这些优势进而带来更优生成模型与更优所学表示。
引用
@article{arxiv.2106.13746,
title = {On Incorporating Inductive Biases into VAEs},
author = {Ning Miao and Emile Mathieu and N. Siddharth and Yee Whye Teh and Tom Rainforth},
journal= {arXiv preprint arXiv:2106.13746},
year = {2022}
}