自适应双教师蒸馏与子网络校正：用于桥接黑盒域适应中的语义鸿沟
计算机视觉与模式识别
2026-05-04 v3 机器学习
摘要
假设源数据和源模型参数均不可访问，黑盒域适应(BBDA)是一个非常实用且具挑战性的场景，其中可 transfer 的知识仅限于黑盒源模型的预测。现有方法通过伪标签精炼或利用视觉语言模型(ViL)获取知识，但往往难以调和来自黑盒模型的任务特定知识与ViL的语言对齐语义先验之间的内在差异，导致集成次优且适应性能下降。为此，我们提出自适应双教师蒸馏与子网络校正(DDSR)框架，显式调和这些互补且不一致的知识来源。DDSR采用自适应预测融合策略整合黑盒源模型和ViL的预测，生成目标域可靠伪标签。子网络基于正则化机制缓解对噪声监督的过拟合，通过强制输出一致性和梯度不一致实现。此外，逐步改进的目标预测不断细化伪标签和ViL提示，从而增强语义对齐。最后，使用类别原型进一步通过自训练优化目标预测。在多个基准数据集上进行实验，表明DDSR consistently 优于前沿方法，包括那些可访问源数据或源模型参数的方法。
引用
@article{arxiv.2603.22908,
title = {Adaptive Dual-Teacher Distillation with Subnetwork Rectification for Bridging Semantic Gaps in Black-Box Domain Adaptation},
author = {Zhe Zhang and Jing Li and Wanli Xue and Xu Cheng and Jianhua Zhang and Qinghua Hu and Shengyong Chen},
journal= {arXiv preprint arXiv:2603.22908},
year = {2026}
}
备注
Under Review