作为混合整数规划的前馈神经网络
机器学习
2024-02-13 v1 人工智能
最优化与控制
摘要
深度神经网络（DNNs）在各种应用中得到了广泛研究。DNN 由多层神经元组成，这些神经元计算仿射组合，应用非线性操作，并产生相应的激活。整流线性单元（ReLU）是一种典型的非线性算子，输出其输入与零的最大值。在涉及多个输入值的场景（如最大池化）中，固定参数的 DNN 可以建模为混合整数规划（MIP）。这种公式化使用连续变量表示单元输出，使用二元变量表示 ReLU 激活，可应用于 diverse 领域。本研究探讨了将训练后的 ReLU 神经元公式化为 MIP，并应用 MIP 模型训练神经网络（NNs）。具体而言，它研究了 MIP 技术与各种 NN 架构之间的相互作用，包括二进制 DNNs（采用阶跃激活函数）和二值化 DNNs（权重和激活限制在 ）。研究重点是通过手写数字分类模型上的实验来训练和评估所提出的方法。 comparative study 评估了训练后的 ReLU NNs 的性能，揭示了 MIP 公式化在增强 NNs 训练过程方面的有效性。
引用
@article{arxiv.2402.06697,
title = {Feed-Forward Neural Networks as a Mixed-Integer Program},
author = {Navid Aftabi and Nima Moradi and Fatemeh Mahroo},
journal= {arXiv preprint arXiv:2402.06697},
year = {2024}
}