大规模多语言情感分类器的评估
计算与语言
2022-04-12 v1 机器学习
摘要
在追求SOTA的过程中，模型的规模与复杂度不断增大。但如果那2%的性能提升在生产用例中并无差别呢？或许更小、更快模型带来的益处超过了那些微小的性能增益。此外，在多语言任务中跨语言同等良好的表现，比在单一语言上取得SOTA结果更为重要。我们呈现了最大、统一的多语言情感分析数据集集合。我们利用这些数据集评估了27种语言下的11个模型与80个高质量情感数据集（从收集的342个原始数据集中筛选出），并包含了内部标注数据集上的结果。我们深入评估了多种设置，包括微调基于transformer的模型以衡量性能。我们从多个维度比较结果，以解决语言覆盖与数据集规模的不平衡问题。最后，我们从多语言视角提出了处理如此大规模数据集与模型集合的一些最佳实践。
引用
@article{arxiv.2204.04937,
title = {Assessment of Massively Multilingual Sentiment Classifiers},
author = {Krzysztof Rajda and Łukasz Augustyniak and Piotr Gramacki and Marcin Gruza and Szymon Woźniak and Tomasz Kajdanowicz},
journal= {arXiv preprint arXiv:2204.04937},
year = {2022}
}
备注
Accepted for WASSA at ACL 2022