潜表示的谱分析
机器学习
2019-07-22 v1 机器学习
摘要
我们提出了一个度量——层饱和度，定义为解释潜表示99%方差所需特征值数量所占的比例，用于分析神经网络层所学到的表示。饱和度基于谱分析，且可高效计算，使得在训练期间对表示进行实时分析成为可能。我们通过概述不同神经架构与问题中层饱和度的行为，为该度量的未来应用提供展望。我们进一步表明饱和度与神经网络的泛化及预测性能相关。
引用
@article{arxiv.1907.08589,
title = {Spectral Analysis of Latent Representations},
author = {Justin Shenk and Mats L. Richter and Anders Arpteg and Mikael Huss},
journal= {arXiv preprint arXiv:1907.08589},
year = {2019}
}
备注
13 pages, 16 figures, code: https://github.com/delve-team/delve