毒性检测:上下文真的很重要吗?
计算与语言
2020-06-02 v1
摘要
内容审核对于促进健康在线讨论至关重要。尽管已发布若干“毒性”检测数据集与模型,但其中大多数忽略了帖子的上下文,隐式地假设评论可独立判断。我们通过关注两个问题来考察这一假设:(a)上下文是否影响人类判断;(b)以上下文为条件是否能提升毒性检测系统的性能?我们以维基百科对话为实验对象,将上下文的概念限定为话题串中的前一条帖子与讨论标题。我们发现,上下文既可能放大也可能缓解帖子被感知的毒性。此外,一小部分但显著的人工标注帖子(在我们的一个实验中为5%)若未向标注者提供上下文,其毒性标签会截然相反。令人惊讶的是,我们也未发现任何证据表明上下文确实提升了毒性分类器的性能——尽管我们尝试了一系列分类器及使其具备上下文感知的机制。这指向对更大规模上下文标注评论数据集的需求。我们公开了代码与数据。
引用
@article{arxiv.2006.00998,
title = {Toxicity Detection: Does Context Really Matter?},
author = {John Pavlopoulos and Jeffrey Sorensen and Lucas Dixon and Nithum Thain and Ion Androutsopoulos},
journal= {arXiv preprint arXiv:2006.00998},
year = {2020}
}