用于半监督学习的重复再预测深度破译方法
计算机视觉与模式识别
2019-11-28 v2 机器学习
机器学习
摘要
大多数近期的半监督深度学习（deep SSL）方法使用类似的范式：利用网络预测来更新伪标签，并迭代地使用伪标签来更新网络参数。然而，它们缺乏理论支撑，且无法解释为何预测是伪标签的良好候选。本文中，我们提出一个名为深度破译（D2）的系统性端到端框架用于 SSL。在 D2 框架内，我们证明伪标签与网络预测通过一个指数链接函数相关联，这为使用预测作为伪标签提供了理论支撑。此外，我们论证由网络预测更新伪标签会使它们变得不确定。为缓解该问题，我们提出一种称为重复再预测（R2）的训练策略。最后，所提出的 R2-D2 方法在大规模 ImageNet 数据集上测试，并以 5 个百分点优于最先进的方法。
引用
@article{arxiv.1908.04345,
title = {Repetitive Reprediction Deep Decipher for Semi-Supervised Learning},
author = {Guo-Hua Wang and Jianxin Wu},
journal= {arXiv preprint arXiv:1908.04345},
year = {2019}
}
备注
Accepted by AAAI 2020