Fast FixMatch：基于课程批大小加速半监督学习
机器学习
2023-09-08 v1 人工智能
计算机视觉与模式识别
摘要
半监督学习（SSL）的进展几乎已以极少标签数量的代价弥合了 SSL 与有监督学习之间的差距。然而，近期的性能提升常以训练计算量显著增加为代价。为此，我们提出课程批大小（CBS），一种利用深度神经网络自然训练动态的未标记批大小课程。训练初期使用较小的未标记批大小，并逐步增大至训练结束。无论数据集、模型或训练轮数如何，均使用固定课程，并在所有设定下均展示了训练计算量的降低。我们将 CBS、强标记增强、课程伪标记（CPL）应用于 FixMatch，并将这一新 SSL 算法称为 Fast FixMatch。我们进行了消融研究，表明强标记增强和/或 CPL 并未显著减少训练计算量，但与 CBS 协同作用时可达到最优性能。Fast FixMatch 相较于先前 SOTA 还实现了 substantially 更高的数据利用率。在 CIFAR-10 上，除保留 40、250 和 4000 个标签外其余均移除的情况下，Fast FixMatch 相较原始 FixMatch 实现了 - 的训练计算量缩减，同时达到了相同的 cited SOTA 错误率。CIFAR-100、SVHN 和 STL-10 上也取得了类似结果。最后，Fast MixMatch 在联邦 SSL 任务和在线/流式学习 SSL 任务中实现了 - 的训练计算量缩减，进一步证明了 Fast MixMatch 对不同场景与任务的泛化能力。
引用
@article{arxiv.2309.03469,
title = {Fast FixMatch: Faster Semi-Supervised Learning with Curriculum Batch Size},
author = {John Chen and Chen Dun and Anastasios Kyrillidis},
journal= {arXiv preprint arXiv:2309.03469},
year = {2023}
}