R2-D2：用于半监督深度学习的重复重预测深度解码
计算机视觉与模式识别
2022-02-21 v1 人工智能
摘要
最近的大多数半监督深度学习（deep SSL）方法使用了相似的范式：利用网络预测更新伪标签，并利用伪标签迭代地更新网络参数。然而，它们缺乏理论支持，且无法解释为什么在深度学习范式中预测是伪标签的良好候选者。在本文中，我们为 SSL 提出了一个有原则的端到端框架，称为深度解码（D2）。在 D2 框架内，我们证明了伪标签通过指数链接函数与网络预测相关联，这为使用预测作为伪标签提供了理论支持。此外，我们证明通过网络预测更新伪标签会使其变得不确定。为了缓解这一问题，我们提出了一种称为重复重预测（R2）的训练策略。最后，所提出的 R2-D2 方法在大规模 ImageNet 数据集上进行了测试，其性能比现有最先进方法高出 5 个百分点。
引用
@article{arxiv.2202.08955,
title = {R2-D2: Repetitive Reprediction Deep Decipher for Semi-Supervised Deep Learning},
author = {Guo-Hua Wang and Jianxin Wu},
journal= {arXiv preprint arXiv:2202.08955},
year = {2022}
}
备注
arXiv admin note: substantial text overlap with arXiv:1908.04345