边缘分布优化对深度架构泛化性能的影响
机器学习
2017-04-20 v1
摘要
尽管间隔最大化原则对支持向量机（Support Vector Machines）的成功至关重要，但该原则并未在深度学习中得到应用。我们表明，最小化间隔方差而非最大化间隔更适合改善深度架构的泛化性能。我们提出了 Halfway 损失函数，该函数最小化深度学习模型输出端的归一化间隔方差（NMV），并在 MNIST、smallNORB 和 CIFAR-10 数据集上评估了其相对于 Softmax 交叉熵损失的性能。
引用
@article{arxiv.1704.05646,
title = {Effects of the optimisation of the margin distribution on generalisation in deep architectures},
author = {Lech Szymanski and Brendan McCane and Wei Gao and Zhi-Hua Zhou},
journal= {arXiv preprint arXiv:1704.05646},
year = {2017}
}