DRIVE：基于信息变异性与熵势一致性的双重鲁棒性无源监督域适应
计算机视觉与模式识别
2024-12-24 v2 人工智能
摘要
在缺乏标签数据且源数据不可访问的情况下适应机器学习模型至新领域，是医学成像、自动驾驶和遥感等应用中的关键挑战。这一任务称为源自由无监督域适应(SFDA)。该过程涉及仅使用无标签目标数据适应预训练模型，可能导致过拟合、欠拟合以及因域差异和噪声导致的泛化不足。现有 SFDA 方法常依赖单一模型架构，难以应对目标域的不确定性和变异性。为解决这些挑战，我们提出 DRIVE(信息变异性与熵势一致性实现双重鲁棒性)，一种新型 SFDA 框架，采用双模型架构。两个模型以相同初始权重并行工作，以捕获目标域的多样化特征。一个模型通过投影梯度下降(PGD)引入扰动，由相互信息引导，聚焦于高不确定性区域。我们还引入熵感知伪标签策略，根据预测不确定性调整标签权重，确保模型聚焦于可靠数据，避免噪声区域。适应过程分为两个阶段：第一个阶段使用相互信息一致性损失对模型进行稳定特征对齐，第二个阶段根据第一个阶段的损失动态调整扰动水平，鼓励模型探索更广泛的目标域范围，同时保持现有性能。这增强了泛化能力和对干扰的鲁棒性。在标准 SFDA 基准测试中评估显示，DRIVE 在复杂目标域中持续优于先前方法，实现更高的适应准确率和稳定性。
引用
@article{arxiv.2411.15976,
title = {DRIVE: Dual-Robustness via Information Variability and Entropic Consistency in Source-Free Unsupervised Domain Adaptation},
author = {Ruiqiang Xiao and Songning Lai and Yijun Yang and Jiemin Wu and Yutao Yue and Lei Zhu},
journal= {arXiv preprint arXiv:2411.15976},
year = {2024}
}