注意力并非总是所需:面向领域特定文本的高效分类
计算与语言
2023-08-25 v1 机器学习
摘要
对于具有数百个分层类别的大规模IT语料库,准确分类层次中较高层级的类别对于避免错误传播到较低层级至关重要。在商业世界中,高效且可解释的机器学习模型优于昂贵的黑盒模型,尤其在性能提升微弱的情况下。自然语言处理(NLP)社区当前的趋势是几乎对任何类型的NLP任务(例如问答、情感分析、文本分类)都采用庞大的预训练语言模型(PLM)或所谓自注意力模型(例如BERT)。尽管PLM应用广泛且在广泛NLP任务中表现令人印象深刻,但考虑到领域特定文本中专业词汇(即行话)的单义性使得上下文嵌入(例如PLM)的目的落空,缺乏清晰且合理正当的理由说明为何将这些模型用于领域特定文本分类(TC)任务。本文中,我们在三个TC数据集上,将文献中报道的一些最先进(SOTA)模型的准确率与线性SVM分类器和TFIDF向量化模型进行比较。结果显示LinearSVM具有可比性能。本研究结果表明,对于领域特定TC任务,线性模型可提供与基于注意力的模型相当、廉价、可复现且可解释的替代方案。
引用
@article{arxiv.2303.17786,
title = {Attention is Not Always What You Need: Towards Efficient Classification of Domain-Specific Text},
author = {Yasmen Wahba and Nazim Madhavji and John Steinbacher},
journal= {arXiv preprint arXiv:2303.17786},
year = {2023}
}