利用原子范数凸化无限宽神经网络的稀疏插值
机器学习
2021-02-03 v1 信号处理
机器学习
摘要
本文研究了通过稀疏（神经元数量少）、无限宽、单隐藏层且带泄漏修正线性单元激活的神经网络实现精确数据插值的问题。利用 [Chandrasekaran et al., 2012] 的原子范数框架，我们在对网络权重和偏置施加若干不同约束的条件下，推导了该问题对应原子集凸包的简单刻画，从而获得了这些问题的等价凸形式。我们还提出了所提框架在二分类问题上的一个适度扩展。我们通过实验探究了所得形式的有效性，并与通过梯度下降训练的网络进行了比较。
引用
@article{arxiv.2007.08009,
title = {Convexifying Sparse Interpolation with Infinitely Wide Neural Networks: An Atomic Norm Approach},
author = {Akshay Kumar and Jarvis Haupt},
journal= {arXiv preprint arXiv:2007.08009},
year = {2021}
}
备注
5 pages, 2 figures