DynaSent：一种用于情感分析的动态基准
计算与语言
2021-01-01 v1
摘要
我们介绍了 DynaSent（'Dynamic Sentiment'），一个用于三分类（正向/负向/中性）情感分析的新型英语基准任务。DynaSent 将自然出现的句子与使用开源 Dynabench 平台创建的句子相结合，该平台支持人与模型在环的数据集创建。DynaSent 共有 121,634 个句子，每个均由五名众包工作者验证，其开发和测试划分旨在使即使我们能开发的最佳模型也仅能达到随机性能；当未来模型解决此任务时，我们将使用它们创建 DynaSent 第二版，延续该基准的动态演进。在此，我们报告数据集创建工作，重点介绍为提高质量并减少伪影所采取的步骤。我们还提供证据表明 DynaSent 的中性类别比其他基准中的同类别更连贯，并主张在每轮中从头训练模型而非连续微调。
引用
@article{arxiv.2012.15349,
title = {DynaSent: A Dynamic Benchmark for Sentiment Analysis},
author = {Christopher Potts and Zhengxuan Wu and Atticus Geiger and Douwe Kiela},
journal= {arXiv preprint arXiv:2012.15349},
year = {2021}
}