秩降自编码器
机器学习
2025-03-26 v3
摘要
Autoencoder 选择合适的瓶颈维度和应用有效的正则化是从无监督数据中学习有意义表示的关键。本文引入一种新的确定性自编码器类，称为秩降自编码器（RRAEs），通过在训练期间采用截断奇异值分解（SVD）来正则化其潜在空间。在 RRAEs 中，瓶颈由潜在矩阵的秩定义，从而减轻了编码器/解码器架构对瓶颈大小的依赖。这种方法使我们能够提出一种自适应算法（aRRAEs），在训练期间高效地确定最佳瓶颈大小。我们实证证明，RRAEs 和 aRRAEs 都是稳定的、可扩展的和可靠的，因为它们不会引入任何额外的训练超参数。我们在合成数据集上以及在 MNIST、Fashion MNIST 和 CelebA 上对我们的 proposed architecture 进行评估。我们的結果显示，RRAEs 在大型和小型潜在空间中都优于 Vanilla AEs，并且超过其他正则化 AE 架构。
引用
@article{arxiv.2405.13980,
title = {Rank Reduction Autoencoders},
author = {Jad Mounayer and Sebastian Rodriguez and Chady Ghnatios and Charbel Farhat and Francisco Chinesta},
journal= {arXiv preprint arXiv:2405.13980},
year = {2025}
}