面向多目标域适应的训练-free 模型合并
计算机视觉与模式识别
2024-07-19 v1
摘要
本文研究了场景理解模型的多目标域适应。虽然先前方法通过域间一致性损失取得了可歌可泣的结果，但往往假设同时获取所有目标域的图像，忽略了数据传输带宽限制和数据隐私等约束。鉴于这些挑战，我们提出了一个问题：如何在无需直接访问训练数据的情况下合并在各异域独立适应的模型？我们的解决方案包含两个组成部分：模型参数的合并和模型缓冲区的合并（即归一化层统计信息）。对于模型参数的合并，经验分析意外地揭示了在使用相同预训练 backbone 权重对各异域进行独立适应时，线性合并足以满足需求。对于模型缓冲区的合并，我们将真实世界的分布建模为高斯先验，并从各异域单独训练的模型缓冲区中估计新的统计信息。我们的方法简洁有效，在不访问训练数据的情况下实现与数据组合训练基准相当的性能。项目页面：https://air-discover.github.io/ModelMerging
引用
@article{arxiv.2407.13771,
title = {Training-Free Model Merging for Multi-target Domain Adaptation},
author = {Wenyi Li and Huan-ang Gao and Mingju Gao and Beiwen Tian and Rong Zhi and Hao Zhao},
journal= {arXiv preprint arXiv:2407.13771},
year = {2024}
}
备注
Accepted to ECCV 2024