解释FixMatch为何优于监督学习的理论探索
机器学习
2025-03-11 v2
摘要
半监督学习（SSL），以FixMatch（Sohn等，2020）为例，已在深度神经网络（DNN）上下文中显示出显著的泛化优势，但从理论角度仍不清楚FixMatch等SSL算法为何在DNN上优于监督学习（SL）。本文以卷积神经网络（CNN）在分类任务中的应用为例，提出了对FixMatch等SSL算法在DNN上实现更好测试准确性的首个理论依据。我们的理论分析揭示了FixMatch与SL在语义特征学习过程中的差异。特别地，FixMatch学习每个语义类的全部判别特征，而SL仅因“彩票票证假设”随机捕获特征的子集。此外，我们展示了我们的分析框架可应用于其他FixMatch类SSL方法，如FlexMatch、FreeMatch、Dash和SoftMatch。灵感来自我们的理论分析，我们开发了FixMatch的改进版本，称为语义感知FixMatch（SA-FixMatch）。实验结果证实了我们的理论发现以及SA-FixMatch的增强泛化能力。
引用
@article{arxiv.2410.11206,
title = {Towards Understanding Why FixMatch Generalizes Better Than Supervised Learning},
author = {Jingyang Li and Jiachun Pan and Vincent Y. F. Tan and Kim-Chuan Toh and Pan Zhou},
journal= {arXiv preprint arXiv:2410.11206},
year = {2025}
}