轻量级竞争者：通过同伴协作与自我超越进行半监督文本挖掘
计算与语言
2024-12-03 v1 机器学习
摘要
轻量级模型中的半监督学习（SSL）策略需要减少标注样本并促进高效推理。然而，训练标签稀缺对模型参数的限制影响了SSL性能。本文介绍了PS-NET，一种专为轻量级模型半监督文本挖掘设计的新框架。PS-NET采用在线蒸馏，通过模仿教师模型来训练学生模型。它还集成了学生模型集成，使其能够协作指导彼此。此外，PS-NET实现了恒定对抗扰动方案，通过逐步泛化进一步增强自我增强。我们的PS-NET配备了两层蒸馏BERT，在极少量标注数据的SSL文本分类中，相较于最先进的轻量级SSL框架FLiText和DisCo，表现出显著的性能提升。
关键词
引用
@article{arxiv.2412.00883,
title = {Lightweight Contenders: Navigating Semi-Supervised Text Mining through Peer Collaboration and Self Transcendence},
author = {Qianren Mao and Weifeng Jiang and Junnan Liu and Chenghua Lin and Qian Li and Xianqing Wen and Jianxin Li and Jinhu Lu},
journal= {arXiv preprint arXiv:2412.00883},
year = {2024}
}