解耦粒度：因子化 VAE 中的隐式归纳偏置
机器学习
2025-06-02 v1 人工智能
摘要
尽管在学习具有语义意义的无监督解耦表征方面取得了成功，变分自编码器（VAE）及其变体仍面临一个根本的理论挑战：大量证据表明，没有隐式归纳偏置就无法实现无监督解耦，然而这种偏置仍然难以捉摸。在这项工作中，我们致力于探索驱动具有因子化先验的 VAE 解耦的隐式归纳偏置。通过分析 \b{eta}-TCVAE 中的总相关性，我们发现了一种被称为解耦粒度的关键隐式归纳偏置，这导致在参数空间中发现了一条有趣的“V”形最优证据下界（ELBO）轨迹。这一发现通过使用因子化 VAE 和我们新提出的模型 \b{eta}-STCVAE 进行的超过 10 万次实验得到了验证。值得注意的是，实验结果表明，受限于固定解耦粒度的传统因子化 VAE 本质上倾向于解耦低复杂度特征。而 \b{eta}-STCVAE 能够适当调节解耦粒度，拓宽了解耦表征的范围，从而允许对高复杂度特征进行解耦。我们的发现揭示了作为因子化 VAE 中隐式归纳偏置的解耦粒度会影响解耦性能和 ELBO 的推断，为 VAE 的可解释性和固有偏置提供了新见解。
引用
@article{arxiv.2505.24684,
title = {Disentangling Granularity: An Implicit Inductive Bias in Factorized VAEs},
author = {Zihao Chen and Yu Xiang and Wenyong Wang},
journal= {arXiv preprint arXiv:2505.24684},
year = {2025}
}