通过重新设计标注任务与性能度量提升词相似度评估的可靠性
计算与语言
2017-02-28 v2
摘要
我们提出了一种用于创建和使用词相似度评估黄金标准数据集的新方法。我们的目标是提高评估的可靠性，为此我们重新设计了标注任务以实现更高的评分者间一致性，并定义了考虑数据集中每个标注决策可靠性的性能度量。
引用
@article{arxiv.1611.03641,
title = {Improving Reliability of Word Similarity Evaluation by Redesigning Annotation Task and Performance Measure},
author = {Oded Avraham and Yoav Goldberg},
journal= {arXiv preprint arXiv:1611.03641},
year = {2017}
}