FLiText：一种基于卷积网络的更快速、更轻量的半监督文本分类方法
计算与语言
2021-10-25 v1 机器学习
摘要
在自然语言处理（NLP）中，最先进的（SOTA）半监督学习（SSL）框架在 BERT 等深度预训练语言模型上表现优异，并有望显著降低对人工标注的需求。然而，我们的实证研究表明，这些框架并不适用于 TextCNN、LSTM 等轻量级模型。在本工作中，我们提出了一个名为 FLiText 的新 SSL 框架，即 Faster and Lighter semi-supervised Text classification（更快速、更轻量的半监督文本分类）。FLiText 引入了启发网络与一致性正则化框架，对轻量级模型施加广义正则约束以实现高效 SSL。结果表明，FLiText 在多个文本分类 SSL 基准上取得了轻量级模型的新 SOTA 性能。与 TextCNN 上现有的 SOTA SSL 方法相比，FLiText 在 IMDb 上将轻量级模型 TextCNN 的准确率从 51.00% 提升至 90.49%，在 Yelp-5 上从 39.8% 提升至 58.06%，在 Yahoo 上从 55.3% 提升至 65.08%。此外，与全数据集上的全监督方法相比，FLiText 仅使用不到 1% 的标注数据，便在 IMDb、Yelp-5 和 Yahoo 数据集上分别将准确率提高了 6.59%、3.94% 和 3.22%。
引用
@article{arxiv.2110.11869,
title = {FLiText: A Faster and Lighter Semi-Supervised Text Classification with Convolution Networks},
author = {Chen Liu and Mengchao Zhang and Zhibin Fu and Pan Hou and Yu Li},
journal= {arXiv preprint arXiv:2110.11869},
year = {2021}
}