基于模型的神经网络特征选择：一种混合整数规划方法
最优化与控制
2023-02-22 v1 机器学习
摘要
在这项工作中，我们针对基于ReLU的深度神经网络（DNNs）开发了一种新颖的输入特征选择框架，该框架建立在混合整数优化方法之上。虽然该方法通常适用于各种分类任务，但为了表述清晰，我们侧重于为图像分类寻找输入特征。其思路是利用一个训练好的DNN或一组训练好的DNN集合来识别显著的输入特征。输入特征选择被表述为一系列混合整数线性规划（MILP）问题，这些问题寻找使每个类别的分类置信度最大化的稀疏输入集合。这些“逆”问题通过为每个类别选择的输入数量以及分布约束进行正则化。在著名的MNIST和FashionMNIST数据集上的数值结果表明，所提出的输入特征选择使我们能够将输入规模大幅缩减至约15%，同时保持良好的分类精度。这使我们能够设计连接数显著更少的DNN，减少计算量，并生成对对抗攻击更鲁棒的DNN。
引用
@article{arxiv.2302.10344,
title = {Model-based feature selection for neural networks: A mixed-integer programming approach},
author = {Shudian Zhao and Calvin Tsay and Jan Kronqvist},
journal= {arXiv preprint arXiv:2302.10344},
year = {2023}
}
备注
15 pages, 3 figures, 5 tables