信息复杂性与随机化在表示学习中的作用
机器学习
2018-02-16 v1 机器学习
摘要
表示学习中的一个重大挑战是学习高维数据背后不同的解释性变异因素。编码器模型常以确定优化训练数据性能为目标，而真实目标是很好地泛化到未见过的数据。尽管已有充分的数值证据表明在（训练期间）表示层注入噪声可改善编码器的泛化能力，但关于该原理的信息论理解仍难以捉摸。本文给出了交叉熵损失泛化差距的依赖于样本的界，其随表示的信息复杂性（IC）即输入与其表示之间的互信息而缩放。我们在 MNIST 和 CIFAR-10 数据集上用 SGD 对标准多层神经网络实证研究了 IC；差距与 IC 的行为呈现直接相关性，表明 SGD 选择编码器以隐式最小化 IC。我们将 IC 专门化以研究 Dropout 对深度编码器泛化能力的作用，其被证明与编码器容量直接相关，作为从表示中区分样本的可分辨性度量。我们的结果支持一些近期的正则化方法。
引用
@article{arxiv.1802.05355,
title = {The Role of Information Complexity and Randomization in Representation Learning},
author = {Matías Vera and Pablo Piantanida and Leonardo Rey Vega},
journal= {arXiv preprint arXiv:1802.05355},
year = {2018}
}
备注
35 pages, 3 figures. Submitted for publication