基于混合整数规划的整数值神经网络最优训练

近期工作已展示出使用混合整数规划（MIP）求解器优化神经网络（NNs）某些方面的潜力。然而，用 MIP 求解器训练 NNs 这一引人入胜的方法尚待充分探索。训练 NNs 的当前最优方法通常基于梯度，且需要大量数据、GPU 上的计算以及广泛的超参数调优。相比之下，使用 MIP 求解器训练无需 GPU 或繁重的超参数调优，但目前除少量数据外无法处理。本文建立在近期使用 MIP 求解器训练二值化 NNs 的进展之上。我们超越现有工作，构建了新颖的 MIP 模型，提升了训练效率，且能够训练重要的整数值神经网络（INNs）类别。我们提供两种新颖方法来增进使用 MIP 训练 NNs 的潜在意义。第一种方法在训练的同时优化 NN 中神经元的数量，从而减少训练前确定网络架构的需要。第二种方法针对 MIP 可切实处理的数据量：我们提供了一种批量训练方法，显著增加了 MIP 求解器可用于训练的数据量。因此我们朝着在使用 MIP 模型训练 NNs 时利用比以往多得多数据的发展方向迈出了有前景的一步。在两个真实世界数据受限数据集上的实验结果表明，我们的方法在准确率、训练时间和数据量方面均大幅优于先前使用 MIP 训练 NN 的最优方法。我们的方法擅长在极少训练数据可用时进行 NN 训练，且能以极小内存需求训练——这对于部署至低内存设备具有潜在价值。