神经网络部分融合：在集束与权重聚合之间的高效权衡
机器学习
2026-05-25 v1 机器学习
摘要
神经网络集束通常优于单个网络，但计算成本高昂；而权重聚合成本较低，却也较不精确。我们提出了神经网络的部分融合方法，介于集束与权重聚合之间，实现计算成本与性能之间的灵活权衡。实现此目的的直接方法是扩展基于神经元级相似性的现有权重聚合方法，其中部分融合仅聚合最相似的神经元权重。我们展示了一种特定方法，用于联合识别最相似的神经元并通过部分最优运输进行匹配。进一步，我们从更一般的视角看待权重聚合和部分融合作为集束模型的广义修剪，其中神经元不能仅被删除，还能线性组合。最后，我们表明，对单个网络应用广义修剪可获得类似部分融合的益处，允许基于相似性在隔离、删除和线性组合神经元之间进行权衡。我们的代码已在 https://github.com/Fabian-Mor/partial_fusion_nn 上提供。
引用
@article{arxiv.2605.22350,
title = {Partial Fusion of Neural Networks: Efficient Tradeoffs Between Ensembles and Weight Aggregation},
author = {Fabian Morelli and Stephan Eckstein},
journal= {arXiv preprint arXiv:2605.22350},
year = {2026}
}
备注
Accepted to ICML 2026