一种求解二值激活函数深度神经网络的整数规划方法
最优化与控制
2020-08-10 v3 机器学习
神经与进化计算
摘要
我们研究具有二值激活函数（BDNN）的深度神经网络，即激活函数仅有两个状态。我们证明 BDNN 可重新表述为一个混合整数线性规划，该规划可通过经典整数规划求解器求得全局最优解。此外，我们给出了一种启发式求解算法，并在数据不确定性下研究该模型，采用两阶段鲁棒优化方法。我们在随机与真实数据集上实现了所提方法，结果表明 BDNN 的启发式版本在 Breast Cancer Wisconsin 数据集上优于经典深度神经网络，而在随机数据上表现较差。
引用
@article{arxiv.2007.03326,
title = {An Integer Programming Approach to Deep Neural Networks with Binary Activation Functions},
author = {Bubacarr Bah and Jannis Kurtz},
journal= {arXiv preprint arXiv:2007.03326},
year = {2020}
}