基于温和助教网络的半监督语义分割

半监督语义分割旨在利用有限的标注数据和大量无标注数据训练分割模型。为有效利用无标注数据，伪标签结合教师-学生框架被广泛应用于半监督语义分割。尽管被证明有效，该范式受困于不可避免地存在且被用作辅助训练数据的不正确伪标签。为缓解不正确伪标签的负面影响，我们深入分析了当前的半监督语义分割框架。我们认为带有伪标签的无标注数据可促进特征提取器中代表性特征的学习，但用以监督掩码预测器并不可靠。受此启发，我们提出一种新框架——温和助教（GTA-Seg）来解耦伪标签对学生模型特征提取器和掩码预测器的影响。具体而言，除原有教师-学生框架外，我们的方法引入一个直接从教师网络生成的伪标签学习的助教网络。该温和助教（GTA）之所以称为温和，是因为其仅以指数移动平均（EMA）方式将特征提取器中有益的特征表示知识迁移给学生模型，使学生模型免受掩码预测器中不可靠伪标签带来的负面影响。学生模型同时由可靠的标注数据监督以训练准确的掩码预测器，进一步促进特征表示。在基准数据集上的大量实验结果验证了我们的方法相较先前方法具有竞争力。代码见https://github.com/Jin-Ying/GTA-Seg。