浅层 ReLU 网络优化的组合视角
机器学习
2022-10-04 v1
摘要
优化浅层 ReLU 网络的 NP 难问题可刻画为对每个训练样本激活模式的组合搜索，随后在给定固定激活模式集合下的约束凸问题。我们在本工作中探讨 ReLU 优化这一组合特性的含义。我们表明它可自然地通过称为 zonotope 的几何与组合对象建模，其顶点集同构于可行激活模式集合。这有助于分析并为进一步研究提供基础。当我们探究最优损失对训练数据扰动的敏感性时，展示了其实用性。随后我们讨论 zonotope 顶点选择方法及其与优化的关联。过参数化通过使随机选出的顶点更可能包含良好解来辅助训练。接着我们引入一种新颖的多项式时间顶点选择过程，仅使用拟合数据所需最小参数数量的两倍即可证明地选出含全局最优解的顶点。我们进一步引入一种基于 zonotope 顶点的局部贪心搜索启发式方法，并证明其在欠参数化问题上优于梯度下降。
引用
@article{arxiv.2210.00176,
title = {A Combinatorial Perspective on the Optimization of Shallow ReLU Networks},
author = {Michael Matena and Colin Raffel},
journal= {arXiv preprint arXiv:2210.00176},
year = {2022}
}