变分秩归约自编码器
机器学习
2025-10-15 v2
摘要
确定性秩归约自编码器(RRAEs)通过应用截断奇异值分解(SVD)在潜空间中强制执行正则化。虽然这种正则化使自编码器更强大，但由于其确定性特性，在生成式应用上却显得反直觉。相反，变分自编码器(VAEs)因其在概率潜空间上的学习能力而广为人知，擅长生成式任务。本文提出了变分秩归约自编码器(VRRAEs)，一种结合了RRAEs和VAEs优势的模型。我们的论点和结果表明，当谨慎采样RRAEs的潜空间并进一步采用KL散度进行正则化(类似于VAEs)时，VRRAEs能够超越RRAEs和VAEs。此外，我们展示了VDARes不仅比VAEs更好的生成器，还大幅降低了后验崩溃的可能性。我们的实验包括一个小规模的合成数据集，展示了VRRAEs对抗崩溃的鲁棒性；以及MNIST、CelebA和CIFAR-10等三个真实数据集，在许多基于FID得分的随机生成和插值任务中，VRRAEs均超越了VAEs和RRAEs。我们开发了一个基于JAX(Equinox)的开源VRRAEs实现，地址为https://github.com/JadM133/RRAEs.git。
引用
@article{arxiv.2505.09458,
title = {Variational Rank Reduction Autoencoders},
author = {Jad Mounayer and Alicia Tierz and Jerome Tomezyk and Chady Ghnatios and Francisco Chinesta},
journal= {arXiv preprint arXiv:2505.09458},
year = {2025}
}