在线滥用自动检测中的跨数据集泛化研究
计算与语言
2021-05-21 v3 人工智能
摘要
NLP 研究在滥用语言检测这一有监督分类任务上已取得了很高的性能。在研究场景中,训练与测试数据集通常取自相似的数据样本;而在实际中,系统所应用的数据往往在主题与类别分布上不同于训练集。此外,该任务中固有的类别定义模糊性加剧了源数据集与目标数据集之间的差异。我们探究了跨数据集泛化中的主题偏置与任务定义偏置。我们表明,Wikipedia Detox 数据集中的良性样本偏向于平台特定主题。我们利用无监督主题建模与对主题关键词的手动检查识别出了这些样本。移除这些主题可提升跨数据集泛化能力,且不降低领域内分类性能。为实现稳健的数据集设计,我们建议应用低成本的无监督方法来检查所收集的数据,并在人工标注类别标签之前缩减不可泛化内容。
引用
@article{arxiv.2010.07414,
title = {On Cross-Dataset Generalization in Automatic Detection of Online Abuse},
author = {Isar Nejadgholi and Svetlana Kiritchenko},
journal= {arXiv preprint arXiv:2010.07414},
year = {2021}
}
备注
13 pages, 3 figures, published at WOAH-2020 (The 4th Workshop on Online Abuse and Harms)