几何与泛化：作为网络泛化失败预测因子的特征值
机器学习
2021-07-15 v1 人工智能
微分几何
摘要
我们通过训练后权重矩阵的 Jacobian 研究训练好的自编码器对输入空间的形变。在此过程中，我们在关于特征向量正交性的假设下，证明了输入空间中各点的均方误差界。我们还表明，Jacobian 矩阵特征值的和与积是测试点上 MSE 的良好预测因子。这是一种与数据集无关的、测试自编码器对新输入泛化能力的方法。即，无需知道网络所训练的数据集，仅需训练模型的参数。
引用
@article{arxiv.2107.06386,
title = {Geometry and Generalization: Eigenvalues as predictors of where a network will fail to generalize},
author = {Susama Agarwala and Benjamin Dees and Andrew Gearhart and Corey Lowman},
journal= {arXiv preprint arXiv:2107.06386},
year = {2021}
}