SWAP：用于鲁棒网络剪枝的稀疏熵最优传输回归
人工智能
2024-02-21 v4
摘要
本研究解决了神经网络剪枝过程中计算经验费雪信息矩阵时梯度不准确的问题。我们引入 SWAP，一种用于剪枝的熵最优传输回归（EWR）形式化方法，其利用了最优传输问题的几何性质。在优化中用 EWR 替换常用的线性回归，经解析证明可通过跨数据点的邻域插值来提供噪声抑制效果，且仅增加极小的额外计算成本。SWAP 的独特优势在于其内在地能够有效平衡噪声降低与协方差信息保持。在各种网络和数据集上进行的大量实验表明，SWAP 与最先进（SoTA）网络剪枝算法性能相当。当网络规模或目标稀疏度较大时，我们提出的方法优于 SoTA，且在存在噪声梯度（可能来自噪声数据、模拟存储器或对抗攻击）时增益更大。值得注意的是，对于 MobileNetV1，在保留不到四分之一网络参数时，我们提出的方法在准确率上实现了 6% 的提升，在测试损失上实现了 8% 的改善。
引用
@article{arxiv.2310.04918,
title = {SWAP: Sparse Entropic Wasserstein Regression for Robust Network Pruning},
author = {Lei You and Hei Victor Cheng},
journal= {arXiv preprint arXiv:2310.04918},
year = {2024}
}
备注
Published as a conference paper at ICLR 2024