从大到小:面向部分集域的自适应学习
机器学习
2022-03-16 v1
摘要
域适应旨在分布偏移下从有标注源域向无标注目标域进行知识获取与传播。然而,跨域共享相同类别空间的常见要求阻碍了域适应在部分集域上的应用。近期进展表明,大规模深度预训练模型赋予了丰富知识以处理多样化的小规模下游任务。因此,将模型从大规模域适应到小规模域具有强烈动机。本文提出部分域适应(Partial Domain Adaptation, PDA),一种将相同类别空间假设放宽为源类别空间包含目标类别空间的学习范式。首先,我们对部分域适应进行理论分析,揭示了估计跨域每类和每样本可迁移概率的重要性。随后,我们提出具有双层选择策略与对抗适应机制的选择性对抗网络(SAN 与 SAN++)。该双层选择策略通过模型交替估计的可迁移概率,对源监督训练、目标自训练以及源-目标对抗适应中的每类和每样本同时加权。在标准部分集数据集及更具挑战性的超类任务上的实验表明,SAN++ 优于多种域适应方法。
引用
@article{arxiv.2203.07375,
title = {From Big to Small: Adaptive Learning to Partial-Set Domains},
author = {Zhangjie Cao and Kaichao You and Ziyang Zhang and Jianmin Wang and Mingsheng Long},
journal= {arXiv preprint arXiv:2203.07375},
year = {2022}
}
备注
accepted to TPAMI in 2022