为英语多样性构建情感分类基准的经验
计算与语言
2024-11-14 v2
摘要
现有基准往往未能考虑语言多样性，如英语的语言变体。在本文中，我们分享了构建针对三种英语变体（澳大利亚英语en-AU、印度英语en-IN和英国英语en-UK）的情感分类基准项目的经验。我们利用Google Places评论，探讨了基于标签语义、评论长度和情感比例的各种抽样技术，并报告了三个基于微调BERT模型的性能。我们的初始评估揭示了样本特征、标签语义和语言变体对性能的显著影响，突显了细致基准设计的必要性。我们提供了为研究人员创建稳健基准的可操作性见解，强调了多样化抽样、谨慎标签定义以及在语言多样性方面的全面评估的重要性。
引用
@article{arxiv.2410.11216,
title = {Experiences from Creating a Benchmark for Sentiment Classification for Varieties of English},
author = {Dipankar Srirag and Jordan Painter and Aditya Joshi and Diptesh Kanojia},
journal= {arXiv preprint arXiv:2410.11216},
year = {2024}
}
备注
Under review