Wolf2Pack：用于动态参数融合的 AutoFusion 框架
计算机视觉与模式识别
2024-10-10 v1 机器学习
摘要
在快速发展的深度学习领域，专门的模型推动了计算机视觉和自然语言处理等任务的显著进步。然而，这种专业化导致生态系统碎片化，模型缺乏适用于更广泛应用的灵活性。为克服这一问题，我们引入 AutoFusion——一种创新的框架，通过动态融合不同模型的参数（具有相同架构）实现多任务学习，无需预训练检查点。采用无监督、端到端的方法，AutoFusion 在每一层动态排列模型参数，通过最小化损失函数进行优化组合，无需标签数据。我们通过在常用基准数据集上的实验验证了 AutoFusion 的有效性，显示出优于 Weight Interpolation、Git Re-Basin 和 ZipIt 等 established 方法的性能。我们的框架提供了一种可扩展且灵活的模型集成解决方案，使其成为未来研究和实际应用的强大工具。
引用
@article{arxiv.2410.05746,
title = {Wolf2Pack: The AutoFusion Framework for Dynamic Parameter Fusion},
author = {Bowen Tian and Songning Lai and Yutao Yue},
journal= {arXiv preprint arXiv:2410.05746},
year = {2024}
}
备注
Under review