LLMs、MLLMs 及更广泛领域中的模型合并：方法、理论、应用与机遇
机器学习
2026-01-01 v5 人工智能
计算与语言
计算机视觉与模式识别
摘要
模型合并是机器学习社区中一种高效的增强技术，无需收集原始训练数据，也无需昂贵的计算。随着模型合并在各个领域变得越来越普及，全面了解现有的模型合并技术至关重要。然而，在对各类技术进行系统全面的综述方面，文献中存在显著空白。本综述提供了模型合并方法与理论的全面概述，以及它们在各领域和设置中的应用与未来研究方向。具体而言，我们首先提出了一种新的分类方法，全面讨论了现有的模型合并方法。其次，我们讨论了模型合并技术在大型语言模型、多模态大型语言模型以及十多个机器学习子领域中的应用，包括持续学习、多任务学习、少样本学习等。最后，我们指出了模型合并面临的剩余挑战并讨论了未来研究方向。关于模型合并的论文综合列表可在 https://github.com/EnnengYang/Awesome-Model-Merging-Methods-Theories-Applications 获取。
引用
@article{arxiv.2408.07666,
title = {Model Merging in LLMs, MLLMs, and Beyond: Methods, Theories, Applications and Opportunities},
author = {Enneng Yang and Li Shen and Guibing Guo and Xingwei Wang and Xiaochun Cao and Jie Zhang and Dacheng Tao},
journal= {arXiv preprint arXiv:2408.07666},
year = {2026}
}