KD-FixMatch:知识蒸馏孪生神经网络
机器学习
2023-09-13 v1 计算机视觉与模式识别
摘要
半监督学习(SSL)已成为深度学习中解决标注数据有限难题的关键途径。深度神经网络的成功严重依赖大规模高质量标注数据的可用性。然而,数据标注过程耗时且不可扩展,导致标注数据短缺。SSL 旨在通过在训练过程中利用额外的未标注数据来解决此问题。流行的 SSL 算法之一 FixMatch 使用孪生神经网络(SNN)同时训练权重共享的教师与学生网络。然而,当早期训练阶段伪标签噪声严重时,它容易出现性能退化。我们提出 KD-FixMatch,一种通过融入知识蒸馏来解决 FixMatch 局限性的新型 SSL 算法。该算法利用 SNN 的顺序与同步训练组合来提升性能并减轻性能退化。首先,使用标注与未标注数据训练一个外部 SNN。之后,训练良好的外部 SNN 网络为未标注数据生成伪标签,从中通过高置信度采样与深度嵌入聚类精心创建一个带可信伪标签的未标注数据子集。最后,一个内部 SNN 用标注数据、未标注数据及该带可信伪标签的未标注数据子集进行训练。在四个公开数据集上的实验表明,KD-FixMatch 在所有情况下均优于 FixMatch。我们的结果表明,KD-FixMatch 具有比 FixMatch 更好的训练起点,从而带来改进的模型性能。
引用
@article{arxiv.2309.05826,
title = {KD-FixMatch: Knowledge Distillation Siamese Neural Networks},
author = {Chien-Chih Wang and Shaoyuan Xu and Jinmiao Fu and Yang Liu and Bryan Wang},
journal= {arXiv preprint arXiv:2309.05826},
year = {2023}
}
备注
5 pages, 1 figure, 5 tables. To be published in ICIP 2023