无忘记融合：基于最优传输的任务特定模型连续融合
机器学习
2025-11-26 v1 人工智能
计算机视觉与模式识别
摘要
将为不同任务微调的模型合并为单个统一模型的方向日益重要，这对于构建 versatile、高效的多任务系统至关重要。现有方法主要依赖于权衡空间中的参数插值，我们表明这种方法会在特征空间引入显著的分布偏移，并削弱任务特定的知识。本文提出了 OTMF（Optimal Transport-based Masked Fusion），一种基于最优传输理论的新型模型融合框架，用于解决因 naïve 参数插值而产生的分布偏移。不同于直接聚合特征或权重，OTMF 通过最优传输计划发现应用于任务向量的公共掩码，从而对齐任务特定模型的语义几何。这些掩码选择性地提取可迁移和任务无关的组件，同时保留每个任务的独特结构身份。为确保实际应用中的可扩展性，OTMF 进一步支持持续融合范式，该范式能够逐步集成每个新任务向量，而无需重新访问先前的任务，维持受限的内存占用，并实现跨越日益增长任务数量的高效融合。我们在多个视觉和语言基准上进行了全面实验，结果表明 OTMF 在准确率和效率方面均实现了最新进展。这一发现凸显了该方法在模型融合中的实用性和理论价值。
引用
@article{arxiv.2511.19561,
title = {Merging without Forgetting: Continual Fusion of Task-Specific Models via Optimal Transport},
author = {Zecheng Pan and Zhikang Chen and Ding Li and Min Zhang and Sen Cui and Hongshuo Jin and Luqi Tao and Yi Yang and Deheng Ye and Yu Zhang and Tingting Zhu and Tianling Ren},
journal= {arXiv preprint arXiv:2511.19561},
year = {2025}
}