Cal-SFDA：基于可微期望校准误差的无源域自适应语义分割
计算机视觉与模式识别
2023-08-08 v1 人工智能
摘要
域自适应语义分割的普及引发了关于源域数据泄露的担忧，即源域的隐私信息可能在目标域中被无意暴露。为规避对源数据的需求，无源域自适应已成为一种可行方案，其利用自训练方法对高置信度区域进行伪标注并将模型适配到目标数据。然而，由于过置信与类不平衡问题，所获得的置信度分数往往高度偏置，这使得模型选择与优化都成问题。本文提出一种新颖的校准引导无源域自适应语义分割(Cal-SFDA)框架。核心思想是从分割预测中估计期望校准误差(ECE)，将其作为模型对无标签目标域泛化能力的强指示。估计的ECE分数反过来在源训练与目标自适应阶段辅助模型训练与公平选择。在源域上的模型预训练中，我们通过LogSumExp技巧确保ECE目标的可微性，并利用ECE分数选择最佳的源检查点用于自适应。为在无需标签的目标域上实现ECE估计，我们训练了一个价值网络用于ECE估计，并对其BatchNorm层采用统计预热以稳定训练。估计的ECE分数有助于判定预测的可靠性，并通过正向引导自适应进程并抑制潜在误差累积来实现类平衡伪标注。在两个广泛使用的合成到真实迁移任务上的大量实验表明，所提方法以公平的模型选择准则超越了先前最先进方法至多5.25%的mIoU。
引用
@article{arxiv.2308.03003,
title = {Cal-SFDA: Source-Free Domain-adaptive Semantic Segmentation with Differentiable Expected Calibration Error},
author = {Zixin Wang and Yadan Luo and Zhi Chen and Sen Wang and Zi Huang},
journal= {arXiv preprint arXiv:2308.03003},
year = {2023}
}
备注
To appear in ACM Multimedia 2023