分而适应：缓解黑盒预测器域适应中的确认偏差
机器学习
2022-05-31 v1 计算机视觉与模式识别
摘要
黑盒预测器域适应（DABP）旨在利用源域上训练的黑盒预测器作为监督，学习一个针对无标签目标域的模型。它无需访问源域数据与预测器参数，从而解决了标准域适应中的数据隐私与可移植性问题。现有DABP方法大多依赖从黑盒预测器进行模型蒸馏，即用其对目标域的带噪预测训练模型，但这不可避免地引入了由预测噪声累积而来的确认偏差。为缓解该偏差，我们提出一种新方法BETA，将知识蒸馏与噪声标签学习纳入统一框架，这得益于一种新的分而适应策略。BETA将目标域划分为噪声较少的易适应子域与难适应子域，然后部署互教孪生网络相互过滤预测器错误并逐步改进，从易到难子域推进。由此，BETA有效净化噪声标签并减少误差累积。我们从理论上证明，通过降低子域噪声比可最小化BETA的目标误差。大量实验表明，BETA在所有DABP基准上优于现有方法，甚至可与使用源域数据的标准域适应方法相媲美。
引用
@article{arxiv.2205.14467,
title = {Divide to Adapt: Mitigating Confirmation Bias for Domain Adaptation of Black-Box Predictors},
author = {Jianfei Yang and Xiangyu Peng and Kai Wang and Zheng Zhu and Jiashi Feng and Lihua Xie and Yang You},
journal= {arXiv preprint arXiv:2205.14467},
year = {2022}
}
备注
A black-box model adaptation approach that proposes divide-to-adapt to suppress the confirmation bias