中文

将剪枝视为一种博弈:平衡驱动的神经网络稀疏化

计算机视觉与模式识别 2025-12-29 v1

摘要

神经网络剪枝广泛用于减少模型规模和计算成本。然而,大多数现有方法将稀疏性视为通过启发式重要性得分或训练时正则化施加的外部约束。在本工作中,我们提出一种根本性的不同视角:将剪枝视为模型组件之间战略性相互作用平衡结果的均衡。我们将权重、神经元或滤波器等参数组建模为连续非合作博弈中的玩家,每个玩家选择其在网络中的参与程度,以平衡贡献与冗余及竞争。在此表述下,稀疏性在持续参与成为均衡下的支配策略时自然出现。我们分析了所得博弈,表明在适度条件下,被支配的玩家会退化为零参与,从而为剪枝行为提供了原则性解释。基于这一洞见,我们推导了一个简易的均衡驱动剪枝算法,无需依赖显式重要性得分即可联合更新网络参数和参与变量。本工作侧重于建立原则性表述和经验验证剪枝作为均衡现象,而非进行全面的架构或大规模基准测试。标准基准上的实验表明,所提方法在稀疏性-精度权衡方面实现了竞争性能,同时提供了对现有剪枝方法可解释、理论支撑的替代方案。

关键词

引用

@article{arxiv.2512.22105,
  title  = {Learning Association via Track-Detection Matching for Multi-Object Tracking},
  author = {Momir Adžemović},
  journal= {arXiv preprint arXiv:2512.22105},
  year   = {2025}
}

备注

14 pages (+4 for references), 8 tables, 4 figures