用于少比特神经网络鲁棒稀疏训练的多目标线性集成方法
最优化与控制
2024-09-12 v2 机器学习
摘要
近年来，使用组合优化求解器训练神经网络（NNs）受到关注。在低数据场景下，最先进的混合整数线性规划求解器可精确训练一个 NN，避免基于 GPU 的密集训练与超参数调优，并同时训练与稀疏化网络。我们研究少比特离散值神经网络的情形，包括二值神经网络（BNNs，其值限定为 ±1）和整数神经网络（INNs，其值位于范围 {-P, ..., P} 内）。少比特 NNs 因其轻量架构与在低功耗设备上运行的能力而日益受到认可。本文提出改进 BNNs 和 INNs 训练的新方法。我们的贡献是一种多目标集成方法，基于为每对可能类别训练单一 NN 并应用多数投票方案预测最终输出。我们的方法训练出鲁棒稀疏化网络，其输出不受输入微小扰动影响，且活跃权重数量尽可能小。我们将此 BeMi 方法与当前基于求解器的 NN 训练及基于梯度的训练的最优水平进行比较，聚焦于少样本情境下的 BNN 学习。我们比较 INNs 与 BNNs 的优劣，为 {-P, ..., P} 区间上的权重分布提供新见解。最后，我们比较 INNs 的多目标与单目标训练，表明鲁棒性与网络简洁性可同时获得，从而取得更好测试性能。先前最优方法在 MNIST 数据集上平均准确率为 51.1%，而 BeMi 集成方法在每类 10 张图像训练时平均准确率达 68.4%，每类 40 张图像时达 81.8%，且最多移除 75.3% 的 NN 连接。
引用
@article{arxiv.2212.03659,
title = {Multi-Objective Linear Ensembles for Robust and Sparse Training of Few-Bit Neural Networks},
author = {Ambrogio Maria Bernardelli and Stefano Gualandi and Hoong Chuin Lau and Simone Milanesi and Neil Yorke-Smith},
journal= {arXiv preprint arXiv:2212.03659},
year = {2024}
}
备注
22 pages, 6 figure, 5 tables