竞争与吸引提升模型融合
人工智能
2025-08-25 v1 神经与进化计算
摘要
模型融合是一种强大的技术，用于将多个机器学习模型的专门知识集成到单个模型中。然而，现有方法需要手动将模型参数划分为固定组进行融合，这限制了潜在组合的探索并限制了性能。为克服这些限制，我们提出了自然基座模型融合（Model Merging of Natural Niches, M2N2），这是一种进化算法，具有三个关键特征：（1）动态调整融合边界，以 progressively 检索更广泛的参数组合；（2）受自然资源竞争启发的多样性保持机制，用于维持多样化、高性能的模型群体，这些模型特别适合进行融合；（3）基于吸引力的启发式方法，用于识别最有希望进行融合的模型对。我们的实验结果表明，首次实现了模型融合可用于从头开始演化模型。具体而言，我们将 M2N2 应用于从头开始演化 MNIST 分类器，并达到与 CMA-ES 相当的性能，同时计算效率更高。此外，M2N2 能够扩展到融合专门的语言和图像生成模型，实现了最先进的性能。值得注意的是，它保留了除适应函数中明确优化的那些关键模型能力之外的关键模型能力，凸显了其鲁棒性和多样性。我们的代码已提供：https://github.com/SakanaAI/natural_niches
引用
@article{arxiv.2508.16204,
title = {Competition and Attraction Improve Model Fusion},
author = {João Abrantes and Robert Tjarko Lange and Yujin Tang},
journal= {arXiv preprint arXiv:2508.16204},
year = {2025}
}
备注
Accepted at GECCO 2025 as a full paper