从修订中学习：大规模论证中论断的质量评估
计算与语言
2021-01-26 v1
摘要
评估论证及其所包含论断的质量已成为计算论证中的关键任务。然而，即便不同论断在同一话题上持相同立场，其评估仍取决于对所述话题不同方面的先验感知与权重分配。这使得学习独立于话题的质量指标变得困难。在本文中，我们通过比较同一论断的不同修订版本，研究与所讨论方面无关的论断质量评估。我们构建了一个大规模语料库，包含来自 kialo.com 的超过 377k 个各类论断修订对，涵盖政治、伦理、娱乐及其他多样话题。随后我们提出两项任务：（a）评估修订对中哪个论断更优；（b）按质量对所有论断版本排序。我们使用基于嵌入的逻辑回归与基于 Transformer 的神经网络进行的初步实验显示出有前景的结果，表明所学指标可很好地跨话题泛化。在详细的错误分析中，我们深入探讨了论断的哪些质量维度可被可靠评估。我们提供了复现所有结果所需的数据与脚本。
引用
@article{arxiv.2101.10250,
title = {Learning From Revisions: Quality Assessment of Claims in Argumentation at Scale},
author = {Gabriella Skitalinskaya and Jonas Klaff and Henning Wachsmuth},
journal= {arXiv preprint arXiv:2101.10250},
year = {2021}
}
备注
Accepted as a long paper at EACL 2021