SVM 与预训练语言模型 (PLM) 在文本分类任务上的对比
计算与语言
2022-11-07 v1 机器学习
摘要
预训练语言模型 (PLM) 的出现已在包括文本分类在内的许多自然语言处理 (NLP) 任务中展现出巨大成功。由于使用这些模型时几乎不需要或完全不需要特征工程，PLM 正成为任何 NLP 任务的事实标准选择。然而，对于特定领域语料（例如金融、法律和工业），针对特定任务微调预训练模型已被证明能带来性能提升。在本文中，我们在三个无公共领域限制的数据集和一个包含领域特定词汇的真实世界数据集上，将四种不同 PLM 的性能与采用 TFIDF 向量化文本的简易 SVM 线性分类器进行对比。在四个数据集上的实验结果表明，使用 PLM（即使是经过微调的）相比线性 SVM 分类器并未带来显著增益。因此，我们建议，对于文本分类任务，传统的 SVM 配合细致的特征工程能够提供比 PLM 更廉价且更优的性能。
引用
@article{arxiv.2211.02563,
title = {A Comparison of SVM against Pre-trained Language Models (PLMs) for Text Classification Tasks},
author = {Yasmen Wahba and Nazim Madhavji and John Steinbacher},
journal= {arXiv preprint arXiv:2211.02563},
year = {2022}
}