GraphConnect：一种用于神经网络的正则化框架
计算机视觉与模式识别
2016-01-28 v2 机器学习
神经与进化计算
摘要
深度神经网络在拥有大型训练集的领域已被证明非常成功，但当训练样本数量较少时，其性能会因过拟合而下降。先前减少过拟合的方法如权重衰减（weight decay）、Dropout 和 DropConnect 是与数据无关的。本文提出一种新方法 GraphConnect，它是数据相关的，其动机来自于感兴趣的数据位于流形附近的观察。新方法鼓励学习到的决策之间的关系类似于表示流形结构的图。本质上，GraphConnect 旨在学习数据样本中存在的属性，这与权重衰减、Dropout 和 DropConnect 仅仅旨在使拟合随机误差或噪声变得更困难形成对比。经验 Rademacher 复杂度用于将神经网络的泛化误差与从输入数据学习的图的谱性质联系起来。该框架被用来表明 GraphConnect 优于权重衰减。在多个基准数据集上的实验结果验证了理论分析，并表明当训练样本数量较少时，GraphConnect 能够比权重衰减显著改善性能。
引用
@article{arxiv.1512.06757,
title = {GraphConnect: A Regularization Framework for Neural Networks},
author = {Jiaji Huang and Qiang Qiu and Robert Calderbank and Guillermo Sapiro},
journal= {arXiv preprint arXiv:1512.06757},
year = {2016}
}
备注
Theorems need more validation