仇恨言论检测中 Perspective 分数的统计分析
计算与语言
2021-07-06 v1 人工智能
摘要
近年来，由于社交媒体中攻击性语言的指数级增长，仇恨言论检测已成为热门话题。已有研究证明，最先进的仇恨言论分类器仅当在特征分布与训练数据相同的测试数据上才有效。因此，模型架构在改进当前结果方面起次要作用。在如此多样的数据分布下，依赖低层特征因数据中的自然偏差而成为不足的主要原因。这就是为什么我们需要使用高层特征以避免有偏判断。在本文中，我们对 Perspective 分数及其对仇恨言论检测的影响进行了统计分析。我们表明，不同的仇恨言论数据集在提取其 Perspective 分数时非常相似。最终，我们证明，对一个仇恨言论数据集的 Perspective 分数进行过采样，可显著提升其在其他仇恨言论数据集上测试时的泛化性能。
引用
@article{arxiv.2107.02024,
title = {Statistical Analysis of Perspective Scores on Hate Speech Detection},
author = {Hadi Mansourifar and Dana Alsagheer and Weidong Shi and Lan Ni and Yan Huang},
journal= {arXiv preprint arXiv:2107.02024},
year = {2021}
}
备注
Accepted paper in International IJCAI Workshop on Artificial Intelligence for Social Good 2021