用于论点质量排序的大规模数据集:构建与分析
计算与语言
2019-11-27 v1
摘要
识别自由文本论点的质量已成为计算论证这一快速扩展领域中的一项重要任务。在这项工作中,我们探索了论点质量排序这一具有挑战性的任务。为此,我们创建了一个包含 30,497 条论点的语料库,并仔细标注了逐点质量,作为本工作的一部分发布。据我们所知,这是标注了逐点论点质量的最大数据集,比先前发布的数据集大五倍。此外,我们通过针对不同方法对该问题进行综合评估,解决了从众包标注中导出带标签分数的核心问题。另外,我们分析了刻画该数据集的质量维度。最后,我们提出了一种用于论点质量排序的神经方法,该方法在我们自己的数据集上以及针对另一数据集已发表的方法上都优于若干基线。
引用
@article{arxiv.1911.11408,
title = {A Large-scale Dataset for Argument Quality Ranking: Construction and Analysis},
author = {Shai Gretz and Roni Friedman and Edo Cohen-Karlik and Assaf Toledo and Dan Lahav and Ranit Aharonov and Noam Slonim},
journal= {arXiv preprint arXiv:1911.11408},
year = {2019}
}
备注
Accepted to AAAI 2020