深度ReLU规划
最优化与控制
2021-03-09 v2
摘要
前馈 ReLU 神经网络将其输入域划分为有限多个具有恒定神经元激活模式和仿射行为的“仿射区域”。我们分析了它们的数学结构，并提供了算法基元，以便高效地应用线性规划相关技术对这类非凸函数进行迭代最小化。特别地，我们提出了单纯形算法的一种扩展，该扩展在诱导顶点上迭代，此外还能够以计算高效的方式将其可行域变更至相邻的“仿射区域”。由此，我们将 LAD 回归的 Barrodale-Roberts 算法作为特例得到，同时也能够训练以 L1 训练损失在每一步均下降的神经网络的第一层。
引用
@article{arxiv.2011.14895,
title = {Deep ReLU Programming},
author = {Peter Hinz and Sara van de Geer},
journal= {arXiv preprint arXiv:2011.14895},
year = {2021}
}
备注
54 pages