利用 MMD 雕刻潜空间:具备可编程先验的解耦方法
机器学习
2025-10-15 v1 人工智能
摘要
学习解耦表示——即由独立潜变量捕捉不同的变化因素——是机器学习中的一个核心目标。主流方法是变分自编码器(VAE)框架,它使用 Kullback-Leibler(KL)散度惩罚项来促使潜空间匹配一个可分解的高斯先验。然而,在本工作中,我们提供了直接证据,表明这种基于 KL 的正则化器并不可靠,在聚合后验上始终无法强制施加目标分布。我们使用新颖的无监督潜空间可预测性评分(LPS)对这一现象进行了验证,并量化了由此产生的纠缠程度。为解决这一缺陷,我们提出了可编程先验框架,一种基于最大均值差异(MMD)的方法。我们的框架允许研究者显式地雕刻潜空间,在 CIFAR-10 和 Tiny ImageNet 等复杂数据集上实现了最先进的互独立性,且不存在常见的重建权衡问题。此外,我们展示了这种可编程性如何用于设计复杂的先验,从而更好地与语义上有意义的特征对齐。最终,我们的工作为表示工程提供了基础工具,为模型可识别性和因果推理开辟了新途径。
引用
@article{arxiv.2510.11953,
title = {Sculpting Latent Spaces With MMD: Disentanglement With Programmable Priors},
author = {Quentin Fruytier and Akshay Malhotra and Shahab Hamidi-Rad and Aditya Sant and Aryan Mokhtari and Sujay Sanghavi},
journal= {arXiv preprint arXiv:2510.11953},
year = {2025}
}