Beta-VAE 的两种行为：PCA 还是 ICA？
机器学习
2023-03-28 v1 人工智能
摘要
Beta-VAE 是用于解耦表示学习的一个非常经典的模型，采用逐步扩展的瓶颈结构使信息逐渐进入解码器，这是实现表示解耦以及高质量重建的关键。在近期针对这一引人入胜的结构的实验中，我们发现潜变量的总数会影响网络所学到的表示：当潜变量极少时，网络倾向于学习最重要或主要的变量，表现得像 PCA；当潜变量数量很大时，各变量往往更加解耦，表现得像 ICA。我们的假设是，潜变量在争夺最大信息带宽时的竞争可能导致了这一现象。
引用
@article{arxiv.2303.14430,
title = {Beta-VAE has 2 Behaviors: PCA or ICA?},
author = {Zhouzheng Li and Hao Liu},
journal= {arXiv preprint arXiv:2303.14430},
year = {2023}
}
备注
9 pages, 13 figures