自编码器在训练过程中及初始化时的特征值
机器学习
2022-01-31 v1
摘要
在本文中，我们研究了自编码器在其初始化附近的演化。具体而言，我们研究了在 MNIST 数据集上训练时，自编码器雅可比矩阵特征值分布在训练过程早期的分布。我们发现，未经训练的自编码器具有与经过长时间训练（>100 个 epoch）的自编码器在性质上不同的特征值分布。此外，我们发现即使在早期 epoch，这些特征值分布也迅速变得与完全训练的自编码器在性质上相似。我们还将初始化时的特征值与关于随机矩阵及其乘积特征值的相关理论工作进行了比较。
引用
@article{arxiv.2201.11813,
title = {Eigenvalues of Autoencoders in Training and at Initialization},
author = {Benjamin Dees and Susama Agarwala and Corey Lowman},
journal= {arXiv preprint arXiv:2201.11813},
year = {2022}
}
备注
11 pages, 3 figures