瓶中合并：可微自适应合并（DAM）及从平均到自动化的路径
计算与语言
2024-10-14 v1 人工智能
机器学习
摘要
通过合并模型，AI 系统可以组合不同语言模型的独特优势，实现多种能力之间的平衡，而无需进行大量的再训练。然而，集成过程可能因训练方法和微调的差异而复杂，通常需要专业知识和反复的细化。本文探讨了模型合并技术的一系列复杂性，检查自动化方法（如演化策略）与调度驱动的方法（如 DARE、TIES-Merging 和更简单的方法如 Model Soups）之间的差异。此外，我们引入了可微自适应合并（DAM），作为一种高效、自适应的合并方法，用于替代演化合并，通过缩放系数优化模型集成，最小化计算需求。我们的发现表明，即使是简单的平均方法（如 Model Soups），在模型相似性较高时也能与竞争，凸显了每种技术的独特优势与局限性。我们已在 GitHub 上开源 DAM，包括实现代码和实验管道：https://github.com/arcee-ai/DAM
关键词
引用
@article{arxiv.2410.08371,
title = {Merging in a Bottle: Differentiable Adaptive Merging (DAM) and the Path from Averaging to Automation},
author = {Thomas Gauthier-Caron and Shamane Siriwardhana and Elliot Stein and Malikeh Ehghaghi and Charles Goddard and Mark McQuade and Jacob Solawetz and Maxime Labonne},
journal= {arXiv preprint arXiv:2410.08371},
year = {2024}
}
备注
11 pages, 1 figure, and 3 tables