DMT：用于半监督学习的动态互训练
计算机视觉与模式识别
2022-05-12 v4
摘要
最近的半监督学习方法以伪监督为核心思想，尤其是生成伪标签的自训练方法。然而，伪标签并不可靠。自训练方法通常依赖单一模型的预测置信度来过滤低置信度伪标签，从而保留了高置信度错误，并浪费了许多低置信度正确标签。本文指出，模型难以对抗自身的错误。相反，利用不同模型间的模型间分歧是定位伪标签错误的关键。基于这一新观点，我们提出通过动态重加权损失函数在两个不同模型之间进行互训练，称为动态互训练（DMT）。我们通过比较两个不同模型的预测来量化模型间分歧，以在训练中动态重加权损失，其中较大的分歧指示可能的错误，并对应较低的损失值。大量实验表明，DMT在图像分类和语义分割任务中均达到了最先进的性能。我们的代码已发布于https://github.com/voldemortX/DST-CBC。
引用
@article{arxiv.2004.08514,
title = {DMT: Dynamic Mutual Training for Semi-Supervised Learning},
author = {Zhengyang Feng and Qianyu Zhou and Qiqi Gu and Xin Tan and Guangliang Cheng and Xuequan Lu and Jianping Shi and Lizhuang Ma},
journal= {arXiv preprint arXiv:2004.08514},
year = {2022}
}
备注
Published at Pattern Recognition, see https://www.sciencedirect.com/science/article/abs/pii/S0031320322002588