建设性评论的分类
计算与语言
2020-08-06 v4 计算机与社会
信息检索
机器学习
摘要
我们介绍了建设性评论语料库（C3），其由 12,000 条带标注的新闻评论组成，旨在帮助构建新工具以改进在线社区讨论质量。我们将建设性评论定义为对对话作出贡献的高质量评论。我们解释了众包标注方案，并定义了建设性的子特征分类法。标注方案与所得数据集的质量通过标注者间一致性度量、对样本的专家评估以及建设性子特征（我们证明其提供了对一般建设性概念的代理）来评估。我们提供了在 C3 上训练的建设性模型，使用了基于特征的方法与多种深度学习方法，并通过领域自适应实验证明这些模型捕捉的是建设性的通用特征而非主题或领域特定特征。我们考察了长度在我们模型中的作用，因为若模型严重依赖该特征，评论长度很容易被操纵。通过检查每个模型所犯错误的分布及其按长度的分布，我们表明性能最佳的模型与评论长度的相关性更低。该建设性语料库与我们的实验为专注于推广作出贡献的评论而非仅过滤不良内容的审核工具铺平了道路。
引用
@article{arxiv.2004.05476,
title = {Classifying Constructive Comments},
author = {Varada Kolhatkar and Nithum Thain and Jeffrey Sorensen and Lucas Dixon and Maite Taboada},
journal= {arXiv preprint arXiv:2004.05476},
year = {2020}
}