ReLU 神经网络嵌入优化问题分析
最优化与控制
2025-02-06 v1 机器学习
摘要
求解包含具有 ReLU 激活函数的嵌入神经网络的混合整数优化问题具有挑战性。随着网络层数的增加，涉及这些函数的二进制决策所产生的 Big-M 系数呈指数增长。我们对这些方法进行了调查，并提出了不同方法来分析和改进混合整数规划求解器在此情境下的运行时行为。其中包括裁剪变体和在训练期间应用的正则化技术，以及基于优化的界限紧缩和一种新颖的给定 ReLU 网络比例缩放方法。我们对这些方法在文献中三个基准问题上的数值比较。我们使用线性区域数量、稳定神经元的比例以及总体计算 effort 作为指标。作为主要收获，我们观察并量化了神经网络模型中常被期望的冗余性与解决相关优化问题的计算成本之间的权衡。
引用
@article{arxiv.2502.03016,
title = {An analysis of optimization problems involving ReLU neural networks},
author = {Christoph Plate and Mirko Hahn and Alexander Klimek and Caroline Ganzer and Kai Sundmacher and Sebastian Sager},
journal= {arXiv preprint arXiv:2502.03016},
year = {2025}
}