$C^2M^3$:循环一致的多模型合并
机器学习
2024-10-31 v2
摘要
本文提出了一种用于神经网络权重空间合并的新颖数据无关方法。与大多数现有工作不同,我们的方法在所有层上全局优化网络神经元的排列。这使得我们能够在合并 个模型时,强制执行排列的循环一致性,允许在没有沿路径积累误差的条件下计算排列的循环组成。我们定性和定量地阐释了这种约束的必要性,展示了在各种架构和数据集的场景中合并模型集合时的优势。最后,我们表明,当结合激活重新归一化时,我们的方法能yield最佳结果。
引用
@article{arxiv.2405.17897,
title = {$C^2M^3$: Cycle-Consistent Multi-Model Merging},
author = {Donato Crisostomi and Marco Fumero and Daniele Baieri and Florian Bernard and Emanuele Rodolà},
journal= {arXiv preprint arXiv:2405.17897},
year = {2024}
}
备注
In Proceedings of the 38th Conference on Neural Information Processing Systems (NeurIPS 2024)