利用合作博弈论剪枝神经网络
机器学习
2023-11-20 v1 人工智能
计算工程、金融与科学
计算机科学与博弈论
多智能体系统
摘要
我们展示了如何将合作博弈论中的解概念用于解决神经网络剪枝问题。深度神经网络（DNNs）不断增长的规模提升了其性能，但也增加了计算需求。我们引入一种称为博弈论辅助剪枝（GTAP）的方法，其在保持预测精度的同时缩减神经网络规模。GTAP基于通过博弈论解估计神经元对预测质量的联合影响来消除网络中的神经元。具体而言，我们使用类似于Shapley值或Banzhaf指数的幂指数，并采用类似于Dropout（常用于解决机器学习中过拟合问题）的过程进行定制。对前馈网络和卷积神经网络的实证评估表明，该方法在参数数量与模型精度实现的权衡上优于现有方法。
引用
@article{arxiv.2311.10468,
title = {Using Cooperative Game Theory to Prune Neural Networks},
author = {Mauricio Diaz-Ortiz and Benjamin Kempinski and Daphne Cornelisse and Yoram Bachrach and Tal Kachman},
journal= {arXiv preprint arXiv:2311.10468},
year = {2023}
}