均匀变换:变分自编码器中潜在表示的细化
机器学习
2024-07-04 v1 图像与视频处理
最优化与控制
机器学习
摘要
变分自编码器(VAEs)中的不规则潜在分布导致后验塌陷、后验与先验之间错位以及采样不良问题。本文引入一种新型可适应的三阶段均匀变换(UT)模块——高斯核密度估计(G-KDE)聚类、非参数高斯混合(GM)建模和概率积分变换(PIT),以解决不规则潜在分布的问题。通过重新配置潜在空间中的不规则分布为均匀分布,我们的方法显著增强了潜在表示的解缠和可解释性,克服了传统 VAE 模型在捕捉复杂数据结构方面的局限。经验评估在 dSprites 和 MNIST 数据集上展示了我们提出的 UT 模块在提升解缠指标方面的有效性。我们的发现表明,这一方法为发展表征学习技术的前景方向,具有为未来研究拓展至更复杂数据集和下游任务的潜在意义。
引用
@article{arxiv.2407.02681,
title = {Uniform Transformation: Refining Latent Representation in Variational Autoencoders},
author = {Ye Shi and C. S. George Lee},
journal= {arXiv preprint arXiv:2407.02681},
year = {2024}
}
备注
Accepted by 2024 IEEE 20th International Conference on Automation Science and Engineering