最佳-最差缩放比评定量表更可靠：一项情感强度标注的案例研究
计算与语言
2017-12-06 v1
摘要
评定量表是一种广泛使用的数据标注方法；然而，它们带来了若干挑战，例如难以保持标注者之间及标注者内部的的一致性。最佳-最差缩放（BWS）是一种替代的标注方法，据称能在所需标注数量与评定量表相近的同时产生高质量标注。然而，这一说法的真实性从未被系统地证实。在此，我们首次设计了一项直接比较评定量表方法与 BWS 的实验。我们表明，在相同的标注总数下，BWS 产生的结果显著比评定量表更可靠。
引用
@article{arxiv.1712.01765,
title = {Best-Worst Scaling More Reliable than Rating Scales: A Case Study on Sentiment Intensity Annotation},
author = {Svetlana Kiritchenko and Saif M. Mohammad},
journal= {arXiv preprint arXiv:1712.01765},
year = {2017}
}
备注
In Proceedings of the Annual Meeting of the Association for Computational Linguistics (ACL), Vancouver, Canada, 2017