面向无源域适应的变分模型扰动方法
机器学习
2022-10-20 v1 计算机视觉与模式识别
摘要
我们致力于无源域适应（source-free domain adaptation），其任务是将在源域上预训练的模型部署到目标域。挑战源于从源域到目标域的分布偏移，以及任何源数据和有标签目标数据均不可用于优化。我们提出不对模型参数进行微调更新，而是通过扰动源模型来实现对目标域的适应。我们在概率框架中通过变分贝叶斯推断将扰动引入模型参数。由此，我们能够在很大程度上保持判别能力的同时有效地使模型适应目标域。重要的是，我们证明了其与学习贝叶斯神经网络的理论联系，这证明了扰动模型对目标域的泛化能力。为了实现更高效的优化，我们进一步采用了参数共享策略，与完全贝叶斯神经网络相比大幅减少了可学习参数。我们的模型扰动为域适应提供了一种新的概率方式，能够在最大保留源模型知识的同时高效适应目标域。在三种不同评估设置下的多个无源基准上的实验验证了所提出的变分模型扰动在无源域适应中的有效性。
引用
@article{arxiv.2210.10378,
title = {Variational Model Perturbation for Source-Free Domain Adaptation},
author = {Mengmeng Jing and Xiantong Zhen and Jingjing Li and Cees G. M. Snoek},
journal= {arXiv preprint arXiv:2210.10378},
year = {2022}
}