揭示基于$\beta$-VAE架构的归纳偏置
机器学习
2021-02-16 v1 人工智能
摘要
-变分自编码器（-VAEs）及其变体在学习语义有意义、解耦的表示方面性能无与伦比。另一方面，存在理论论证表明无监督解耦是不可能的。在本工作中，我们阐明了导致VAE类架构成功的归纳偏置。我们表明，在经典数据集中，由生成因子诱导的方差结构恰好与VAE目标所促进的潜在方向对齐。这构成了VAE解耦能力所依赖的关键偏置。通过对现有数据集进行微小的精心扰动，我们隐藏了易被多种架构利用的便利相关结构。为证明这一点，我们构建了标准数据集的修改版本，其中（i）生成因子被完美保留；（ii）每幅图像经历轻微变换导致方差的微小改变；（iii）领先的\textbf{基于VAE的解耦架构无法产生解耦表示，而非变分方法的性能保持不变}。我们修改的构建并非平凡，且依赖于近期对-VAEs机理理解及其与PCA联系的进展。我们加强了该联系，提供了具有独立意义的额外见解。
引用
@article{arxiv.2102.06822,
title = {Demystifying Inductive Biases for $\beta$-VAE Based Architectures},
author = {Dominik Zietlow and Michal Rolinek and Georg Martius},
journal= {arXiv preprint arXiv:2102.06822},
year = {2021}
}