隐式秩最小化自编码器
机器学习
2020-10-15 v2 计算机视觉与模式识别
机器学习
摘要
自编码器的一个重要组成部分是最小化或限制潜表示信息容量的方法。本工作中，通过利用多层线性网络中的梯度下降学习会导致最小秩解这一事实，隐式地最小化了编码协方差矩阵的秩。通过在编码器与解码器之间插入若干额外的线性层，系统自发地学习到具有低有效维数的表示。该模型被称为隐式秩最小化自编码器（Implicit Rank-Minimizing Autoencoder, IRMAE），其简单、确定性，并能学习紧凑的潜空间。我们在多个图像生成与表示学习任务上验证了该方法的有效性。
引用
@article{arxiv.2010.00679,
title = {Implicit Rank-Minimizing Autoencoder},
author = {Li Jing and Jure Zbontar and Yann LeCun},
journal= {arXiv preprint arXiv:2010.00679},
year = {2020}
}