用混合整数线性规划训练 ReLU 激活的多层神经网络
机器学习
2021-04-12 v3 机器学习
摘要
本文通过一个案例研究表明，由 ReLU 函数激活的多层前馈神经网络原则上可按如下方式用混合整数线性规划（MILPs）迭代训练。权重通过批量学习确定。每个训练数据批次使用多次迭代。在每次迭代中，算法从输出层开始，将信息反向传播到第一个隐藏层，以使用 MILP 或线性规划调整权重。对于每一层，目标是最小化其输出与相应目标输出之间的差异。最后一层（输出层）的目标输出等于真实值。前一层的目标输出定义为后一层的调整后输入。对于给定层，通过求解 MILP 计算权重。然后，除第一个隐藏层外，输入值也用 MILP 修改，以更好地使层输出与其相应目标输出匹配。该方法在包含手写数字的 MNIST 数据集上用两个简单网络进行了测试，并与 Tensorflow/Keras（Adam 优化器）比较。取得了与 Tensorflow/Keras 同量级的准确率。
引用
@article{arxiv.2008.08386,
title = {ReLU activated Multi-Layer Neural Networks trained with Mixed Integer Linear Programs},
author = {Steffen Goebbels},
journal= {arXiv preprint arXiv:2008.08386},
year = {2021}
}
备注
published paper. Technical Report 2021-01, Niederrhein University of Applied Sciences, Faculty of Electrical Engineering and Computer Science, 2021