训练后多层感知机中的可交换性与核不变性
机器学习
2018-10-30 v2 机器学习
摘要
在机器学习模型的分析中，通常假设参数为独立同分布（IID）是方便的。当参数通过如SGD等训练过程更新时，该假设不被满足。IID条件的一种松弛是称为可交换性的概率对称性。我们展示了多层感知机（MLP）中权重可交换的意义。这得出如下结果：在某些情形下，全连接层的逐层核在训练期间保持近似恒定。我们识别了当权重间协方差从零变化时网络宏观行为的急剧改变。
引用
@article{arxiv.1810.08351,
title = {Exchangeability and Kernel Invariance in Trained MLPs},
author = {Russell Tsuchida and Fred Roosta and Marcus Gallagher},
journal= {arXiv preprint arXiv:1810.08351},
year = {2018}
}
备注
26 pages, 16 Figures; Changed Fred (Farbod) Roosta to Fred Roosta in Metadata