稀疏神经网络中的线性模式连通性
机器学习
2025-04-15 v1 人工智能
摘要
随着对稀疏神经网络兴趣的上升，我们研究了使用合成数据进行神经网络剪枝如何产生具有独特训练特性的稀疏网络。我们发现，蒸馏数据（真实数据的合成摘要）与迭代幅值剪枝（IMP）相结合，揭示了一类新的稀疏网络，它们对真实数据上 SGD 噪声的稳定性高于稠密模型或通过 IMP 用真实数据找到的子网络。也就是说，合成选择的子网络通常训练到相同的最小值，或表现出线性模式连通性。我们通过线性插值、损失景观可视化和测量 Hessian 矩阵的对角线来研究这一点。尽管数据集蒸馏作为一个领域仍很年轻，我们发现这些特性使得合成子网络在蒸馏数据适用的设定下，仅用最多少 150 倍训练点就能匹配传统 IMP 的性能。
引用
@article{arxiv.2310.18769,
title = {Linear Mode Connectivity in Sparse Neural Networks},
author = {Luke McDermott and Daniel Cummings},
journal= {arXiv preprint arXiv:2310.18769},
year = {2025}
}
备注
Published in NeurIPS 2023 UniReps Workshop