IDoFew：在语言模型中使用双重聚类进行中间训练以实现少标签文本分类
计算与语言
2024-01-09 v1
摘要
诸如来自Transformer的双向编码器表示（BERT）等语言模型在各种自然语言处理（NLP）和文本挖掘任务（包括文本分类）中非常有效。然而，一些任务仍然对这些模型构成挑战，包括标签有限的文本分类。这可能导致冷启动问题。尽管一些方法试图通过单阶段聚类作为中间训练步骤，并结合预训练语言模型生成伪标签来改善分类，从而解决此问题，但由于聚类算法的局限性，这些方法往往容易出错。为了克服这一点，我们开发了一种新颖的两阶段中间聚类及后续微调方法，能够可靠地建模伪标签，从而减少预测误差。我们模型IDoFew的关键创新在于，两阶段聚类结合两种不同的聚类算法，有助于利用互补算法的优势，减少为微调生成可靠伪标签时的错误。与强大的对比模型相比，我们的方法已显示出显著的改进。
引用
@article{arxiv.2401.04025,
title = {IDoFew: Intermediate Training Using Dual-Clustering in Language Models for Few Labels Text Classification},
author = {Abdullah Alsuhaibani and Hamad Zogan and Imran Razzak and Shoaib Jameel and Guandong Xu},
journal= {arXiv preprint arXiv:2401.04025},
year = {2024}
}
备注
Published in The 17th ACM International Conference on Web Search and Data Mining