中文

$C^2M^3$:循环一致的多模型合并

机器学习 2024-10-31 v2

摘要

本文提出了一种用于神经网络权重空间合并的新颖数据无关方法。与大多数现有工作不同,我们的方法在所有层上全局优化网络神经元的排列。这使得我们能够在合并 N3N \geq 3 个模型时,强制执行排列的循环一致性,允许在没有沿路径积累误差的条件下计算排列的循环组成。我们定性和定量地阐释了这种约束的必要性,展示了在各种架构和数据集的场景中合并模型集合时的优势。最后,我们表明,当结合激活重新归一化时,我们的方法能yield最佳结果。

关键词

引用

@article{arxiv.2405.17897,
  title  = {$C^2M^3$: Cycle-Consistent Multi-Model Merging},
  author = {Donato Crisostomi and Marco Fumero and Daniele Baieri and Florian Bernard and Emanuele Rodolà},
  journal= {arXiv preprint arXiv:2405.17897},
  year   = {2024}
}

备注

In Proceedings of the 38th Conference on Neural Information Processing Systems (NeurIPS 2024)