凸神经网络的奇特案例
机器学习
2021-07-13 v3 机器学习
摘要
在本文中，我们研究了一类受约束的神经网络表述，其中输出是输入的凸函数。我们证明凸性约束可施加于全连接层和卷积层，使其适用于大多数架构。凸性约束包括限制权重（除第一层外）为非负，并使用非递减的凸激活函数。尽管简单，这些约束对网络的泛化能力有深远影响。我们得出三点有价值的见解：（a）输入输出凸神经网络（IOC-NNs）具有自正则化作用并缓解过拟合问题；（b）尽管受到严重约束，它们优于基础多层感知机，并且与基础卷积架构相比取得相似性能；（c）IOC-NNs 对训练标签中的噪声表现出鲁棒性。我们使用在标准图像分类数据集上基于三种不同神经网络架构的详尽实验和消融研究证明了所提思想的有效性。
引用
@article{arxiv.2006.05103,
title = {The Curious Case of Convex Neural Networks},
author = {Sarath Sivaprasad and Ankur Singh and Naresh Manwani and Vineet Gandhi},
journal= {arXiv preprint arXiv:2006.05103},
year = {2021}
}
备注
20 pages, accepted at ECML-PKDD