通过弗雷谢平均数推广模型合并的几何
机器学习
2026-05-08 v2
摘要
模型合并旨在在无需额外训练的情况下将多个模型合并为一个模型。由于其几何未考虑架构对称性，naïve参数空间平均在面临架构对称性时可能不稳健。在本工作中，我们表明，不仅几何本身，而且平均过程本身都必须具有对称性不变性，才能实现对称感知的合并。因此，我们提出了通用解决方案：将合并视为弗雷谢平均，即选择在合适流形上 minimize 各参数间 geodesic 距离之和。在此观点下，关键设计选择是整体几何，即度量、流形和距离近似的选择，这决定了两个模型何为“接近”。我们表明，结合简化假设的弗雷谢平均包含了Fisher合并。基于此，我们检验了低秩适配器(LoRA)的特定情况，其对称性导致独特的几何：商流形的几何。我们概述了当前LoRA合并方法的局限性，提出了该情境下的实用算法，并展示了其与其他常用方法的比较。
引用
@article{arxiv.2604.27155,
title = {Generalizing the Geometry of Model Merging Through Frechet Averages},
author = {Marvin F. da Silva and Mohammed Adnan and Felix Dangel and Sageev Oore},
journal= {arXiv preprint arXiv:2604.27155},
year = {2026}
}