深度神经网络作为 0-1 混合整数线性规划：一项可行性研究
机器学习
2017-12-19 v1
摘要
深度神经网络（DNNs）如今非常流行，并且是极受关注的研究对象。DNN 由若干层内部单元（或神经元）构成，每一层对前一层单元的输出进行仿射组合，施加非线性算子，并输出相应的值（亦称激活值）。一种常用的非线性算子是所谓的修正线性单元（ReLU），其输出为其输入值与零之间的最大值。在此（以及其他类似情形，如最大池化，其中最大操作涉及多于一个输入值），可将 DNN 建模为一个 0-1 混合整数线性规划（0-1 MILP），其中连续变量对应于各单元的输出值，并为每个 ReLU 关联一个二元变量以刻画其“是/否”性质。本文讨论此类 0-1 MILP 模型的特性，并描述一种旨在简化其求解的有效紧界技术。我们还给出了 0-1 MILP 模型在特征可视化和对抗样本构造中的可能应用。报告了初步的计算结果，旨在研究（在小型 DNN 上）最先进的 MILP 求解器应用于已知测试用例（即手写数字识别）时的计算性能。
引用
@article{arxiv.1712.06174,
title = {Deep Neural Networks as 0-1 Mixed Integer Linear Programs: A Feasibility Study},
author = {Matteo Fischetti and Jason Jo},
journal= {arXiv preprint arXiv:1712.06174},
year = {2017}
}
备注
submitted to an international conference