使用混合整数规划识别人工神经网络架构中的关键神经元
机器学习
2023-07-26 v4 神经与进化计算
最优化与控制
机器学习
摘要
我们引入了一种混合整数规划（MIP），用于为深度神经网络架构中的每个神经元分配重要性分数，其依据是其同时剪枝对网络主学习任务的影响。通过精心设计算 MIP 的目标函数，我们引导求解器最小化需要保留以维持训练后神经网络整体精度的关键神经元（即具有高重要性分数者）的数量。此外，所提公式推广了近期考虑的彩票票优化，通过识别多个“幸运”子网络，得到优化后的架构不仅能在单一数据集上表现良好，还能在网络权重重新训练后跨多个数据集泛化。最后，我们通过使用辅助网络解耦各层间的重要性分数，给出了我们方法的可扩展实现。我们在流行数据集与架构上展示了我们的公式在剪枝神经网络时仅造成精度与泛化性边际损失的能力。
引用
@article{arxiv.2002.07259,
title = {Identifying Critical Neurons in ANN Architectures using Mixed Integer Programming},
author = {Mostafa ElAraby and Guy Wolf and Margarida Carvalho},
journal= {arXiv preprint arXiv:2002.07259},
year = {2023}
}
备注
16 pages, 3 figures, 5 tables, under review