KDSTM：基于知识蒸馏的神经半监督主题建模
计算与语言
2024-02-13 v2 人工智能
摘要
在文本分类任务中，微调 BERT 和 GPT-3 等预训练语言模型可获得有竞争力的准确率；然而，这两种方法都需要在大型文本数据集上预训练。相比之下，通用主题建模方法具有分析文档以提取有意义的词模式而无需预训练的优势。为利用主题建模在文本分类任务上的无监督洞察提取能力，我们提出了知识蒸馏半监督主题建模（KDSTM）。KDSTM 无需预训练嵌入、仅需少量标注文档且训练高效，使其在资源受限环境下十分理想。在多种数据集上，我们的方法在分类准确率、鲁棒性和效率上优于现有的监督主题建模方法，并取得了与最先进的弱监督文本分类方法相近的性能。
引用
@article{arxiv.2307.01878,
title = {KDSTM: Neural Semi-supervised Topic Modeling with Knowledge Distillation},
author = {Weijie Xu and Xiaoyu Jiang and Jay Desai and Bin Han and Fuqin Yan and Francis Iannacci},
journal= {arXiv preprint arXiv:2307.01878},
year = {2024}
}
备注
12 pages, 4 figures, ICLR 2022 Workshop