中文

用于连续视频域适应的置信度注意力与泛化增强蒸馏

计算机视觉与模式识别 2023-08-30 v2

摘要

连续视频域适应是一种场景,要求源模型在没有源数据或目标监督的情况下,持续适应一系列单独可用的不断变化的目标域。它在机器人视觉和自动驾驶等领域有广泛应用。CVDA 的主要潜在挑战是仅从无监督目标数据中学习有用信息,同时避免灾难性地遗忘先前学到的知识,这超出了以往基于视频的无监督域适应方法的能力。因此,我们提出了一种具有泛化增强自知识蒸馏的置信度注意力网络以解决 CVDA 中的挑战。首先,为了从无监督域中学习,我们提出从伪标签中学习。然而,在连续适应中,预测误差会在伪标签中迅速累积,CART 通过两个关键模块有效解决了这一问题。具体而言,第一个模块利用模型预测生成精炼的伪标签,并部署一种新颖的注意力学习策略。第二个模块将当前模型中增强数据的输出与源模型中弱增强数据的输出进行比较,对模型形成一种新颖的一致性正则化,以缓解预测误差的累积。大量实验表明,CART 的 CVDA 性能以显著优势优于现有方法。

关键词

引用

@article{arxiv.2303.10452,
  title  = {Confidence Attention and Generalization Enhanced Distillation for Continuous Video Domain Adaptation},
  author = {Xiyu Wang and Yuecong Xu and Jianfei Yang and Bihan Wen and Alex C. Kot},
  journal= {arXiv preprint arXiv:2303.10452},
  year   = {2023}
}

备注

16 pages, 9 tables, 10 figures