打破 betaTCVAE 中总相关的魔咒
机器学习
2023-04-28 v2 人工智能
摘要
在缺乏人工标签时，数据中的独立与依赖特征混杂在一起。如何构建模型的归纳偏置以灵活划分并有效容纳具有不同复杂度的特征，是无监督解耦表示学习的主要焦点。本文提出一种新的总相关迭代分解路径，并从模型容量分配视角解释 VAE 的解耦表示能力。新开发的目标函数将潜变量维度组合为联合分布，同时缓解组合中边缘分布的独立性约束，从而得到具有更可控先验分布的潜变量。该新颖模型使 VAE 能够调整参数容量以灵活划分依赖与独立数据特征。在多个数据集上的实验结果显示模型容量与潜变量分组大小之间存在有趣的相关性，称为“V”形最优 ELBO 轨迹。此外，我们凭经验证明所提方法以合理的参数容量分配获得了更好的解耦性能。
引用
@article{arxiv.2210.08794,
title = {Break The Spell Of Total Correlation In betaTCVAE},
author = {Zihao Chen and Wenyong Wang and Sai Zou},
journal= {arXiv preprint arXiv:2210.08794},
year = {2023}
}