分析深度上下文语言表示在文本分类中的泛化能力
计算与语言
2023-03-24 v1
摘要
本研究评估了两种最先进的深度上下文语言表示 ELMo 和 DistilBERT 在监督学习二分类抗议新闻和商品评论情感分析上的鲁棒性。通过使用不同于训练数据的测试集，实现了“跨上下文”设置。具体而言，在新闻分类任务中，模型在印度地方新闻上开发并在中国地方新闻上测试。在情感分析任务中，模型在电影评论上训练并在客户评论上测试。该比较旨在探索当今自然语言处理系统在通往可泛化至真实场景系统的道路上表征能力的极限。模型被微调并输入前馈神经网络和双向长短期记忆网络。多项朴素贝叶斯和线性支持向量机用作传统基线。结果表明，在二分类文本分类中，DistilBERT 在泛化到跨上下文设置上显著优于 ELMo。观察到 ELMo 对跨上下文测试数据比两种基线都显著更鲁棒。另一方面，当训练和测试数据是同一语料的子集时(无跨上下文)，基线表现与 ELMo 相当。还发现 DistilBERT 比 ELMo 小 30% 且快 83%。结果表明 DistilBERT 比 ELMo 能更好地将通用语义知识迁移到其他领域。DistilBERT 因所需计算训练预算更小，在集成到真实系统方面也更具优势。当泛化不是首要偏好且测试域与训练域相似时，传统 ML 算法仍可作为深度语言表示更具经济性的替代方案。
引用
@article{arxiv.2303.12936,
title = {Analyzing the Generalizability of Deep Contextualized Language Representations For Text Classification},
author = {Berfu Buyukoz},
journal= {arXiv preprint arXiv:2303.12936},
year = {2023}
}