RAIN：面向黑盒域适应的输入与网络正则化
计算机视觉与模式识别
2023-08-22 v4 人工智能
机器学习
摘要
无源域适应在不暴露源数据的情况下将源训练模型迁移至目标域，试图消除关于数据隐私与安全的担忧。然而，由于对源模型的对抗攻击，该范式仍存在数据泄漏风险。因此，黑盒设定仅允许使用源模型的输出，但由于源模型权重不可见，其更易在源域上过拟合。本文中，我们提出一种名为 RAIN（输入与网络正则化）的新方法，从输入级和网络级正则化两方面解决黑盒域适应问题。在输入级，我们设计了一种称为 Phase MixUp 的新数据增强技术，其在插值中突出任务相关对象，从而增强目标模型的输入级正则化与类别一致性。在网络级，我们开发了子网络蒸馏机制，通过知识蒸馏将知识从目标子网络迁移至完整目标网络，从而通过学习多样的目标表示缓解源域过拟合。大量实验表明，我们的方法在单源与多源黑盒域适应下的多个跨域基准上均达到最先进性能。
引用
@article{arxiv.2208.10531,
title = {RAIN: RegulArization on Input and Network for Black-Box Domain Adaptation},
author = {Qucheng Peng and Zhengming Ding and Lingjuan Lyu and Lichao Sun and Chen Chen},
journal= {arXiv preprint arXiv:2208.10531},
year = {2023}
}
备注
Accepted by IJCAI 2023