SepRep-Net: 通过模型分离与重参数化实现多源无源域自适应
计算机视觉与模式识别
2024-05-20 v2
摘要
我们考虑多源无源域自适应问题，即在无法访问源数据的情况下，将多个现有模型适配到新领域。在现有方法中，基于模型集成的方法在源域和目标域均表现有效，但会显著增加计算成本。针对这一困境，本文提出了一种名为 SepRep-Net 的新框架，通过模型分离与重参数化来解决多源无源域自适应。具体而言，SepRep-Net 将多个现有模型重组为一个统一网络，同时保持独立的路径（分离）。在训练过程中，这些独立路径并行优化，并通过一个额外的特征融合单元定期进行信息交换。通过我们的特定设计，这些路径可以进一步重参数化为单一路径以方便推理（重参数化）。SepRep-Net 的特点在于：1）有效性：在目标域上具有竞争力的性能；2）高效性：较低的计算成本；3）泛化性：比现有解决方案保留更多源知识。作为一种通用方法，SepRep-Net 可以无缝集成到各种方法中。大量实验验证了 SepRep-Net 在主流基准上的性能。
引用
@article{arxiv.2402.08249,
title = {SepRep-Net: Multi-source Free Domain Adaptation via Model Separation And Reparameterization},
author = {Ying Jin and Jiaqi Wang and Dahua Lin},
journal= {arXiv preprint arXiv:2402.08249},
year = {2024}
}