深度神经网络的半径-间隔界
机器学习
2018-11-06 v1 机器学习
摘要
解释深度学习的非凡有效性一直困扰着全球的研究人员。多位作者描述了多种度量来评估深度架构的容量。在本文中，我们提及针对具有 hinge 损失的支撑向量机（SVM）所描述的半径-间隔界，将其应用于深度前馈架构，并推导出 Vapnik-Chervonenkis（VC）界，该界不同于先前基于网络权重量提出的界。在此过程中，我们还关联了诸如 Dropout 和 Dropconnect 等技术在降低网络容量方面的有效性。最后，我们描述了最大化输入以及输出间隔以实现输入噪声鲁棒深度架构的效果。
引用
@article{arxiv.1811.01171,
title = {Radius-margin bounds for deep neural networks},
author = {Mayank Sharma and Jayadeva and Sumit Soman},
journal= {arXiv preprint arXiv:1811.01171},
year = {2018}
}