中文

一种用于无源语义分割的课程式自训练方法

计算机视觉与模式识别 2024-07-22 v5

摘要

无源域自适应近年来发展迅速,其将训练良好的源模型适配到目标域而非使用源数据,为隐私问题和知识产权保护提供了可能。然而,先前域自适应方法中的许多特征对齐技术在此具挑战性的设定下不可行。因此,我们转而探究固有的域不变特征学习,并提出一种用于无源域自适应语义分割的课程式自训练方法。具体而言,我们引入课程式熵最小化方法来挖掘源模型中的隐式知识,其利用从易到难预测的特定信息将训练好的源模型拟合到目标数据。随后,我们通过所提出的互补课程式自训练来训练分割网络,该训练遵循课程学习的方式利用负伪标签和正伪标签。尽管高不确定性的负伪标签无法被识别为正确标签,但它们可明确指示不存在的类别。此外,我们采用信息传播方案进一步减小目标域内的域内差异,这可作为域自适应领域的一种标准后处理方法。进一步地,我们将所提方法扩展到更具挑战性的黑盒源模型场景,其中仅能获取源模型的预测结果。大量实验验证了我们的方法在合成到真实以及恶劣条件数据集的无源语义分割任务上均取得了最先进的性能。代码及相应训练模型发布于 \url{https://github.com/yxiwang/ATP}。

关键词

引用

@article{arxiv.2106.11653,
  title  = {A Curriculum-style Self-training Approach for Source-Free Semantic Segmentation},
  author = {Yuxi Wang and Jian Liang and Zhaoxiang Zhang},
  journal= {arXiv preprint arXiv:2106.11653},
  year   = {2024}
}

备注

This paper is accepted by TPAMI2024