无监督域适应中可迁移参数的学习
计算机视觉与模式识别
2022-11-23 v1 人工智能
机器学习
摘要
无监督域适应（UDA）使学习机器能够在分布偏移下从有标签的源域适应到无标签的目标域。得益于深度神经网络的强大表征能力，近期 UDA 的显著成就归功于学习域不变特征。直观上，期望是良好的特征表征连同从源域学到的假设能够很好地泛化到目标域。然而，域不变特征与源假设的学习过程不可避免地涉及域特定信息，这会削弱 UDA 模型在目标域上的泛化能力。本文受彩票假设（即仅部分参数对泛化至关重要）的启发，发现 UDA 中仅部分参数对学习域不变信息并良好泛化至关重要。此类参数被称为可迁移参数。相反，其余参数倾向于拟合域特定细节且常无法泛化，我们称之为不可迁移参数。受此洞察驱动，我们提出可迁移参数学习（TransPar）以减少学习过程中域特定信息带来的副作用，从而增强对域不变信息的记忆。具体而言，依据分布差异程度，我们在每次训练迭代中将全部参数划分为可迁移与不可迁移两类，随后对两类参数执行不同的更新规则。在图像分类与回归任务（关键点检测）上的大量实验表明，TransPar 以可观的幅度优于已有方法。此外，实验证明 TransPar 可集成至最流行的深度 UDA 网络，并易于扩展以处理任意数据分布偏移场景。
引用
@article{arxiv.2108.06129,
title = {Learning Transferable Parameters for Unsupervised Domain Adaptation},
author = {Zhongyi Han and Haoliang Sun and Yilong Yin},
journal= {arXiv preprint arXiv:2108.06129},
year = {2022}
}