网络欺凌检测当前的局限:关于评估准则、可复现性与数据稀缺
计算与语言
2021-08-16 v1 计算机与社会
社会与信息网络
摘要
在线网络欺凌的检测在社会重要性、研究热度以及可用开放数据方面均有增长。然而,尽管计算能力和资源的可负担性持续提高,高质量数据的访问限制制约了最先进技术的适用性。因此,近期许多研究使用小型、异构的数据集,而未对其适用性进行充分评估。在本文中,我们进一步阐明这些问题:我们(i)评估了该任务的许多公开可用资源,并展示了数据收集中的困难。这些主要产生小型数据集,无法捕捉所需的复杂社会动态,并阻碍了对进展的直接比较。我们(ii)进行了一组广泛的实验,表明在这些来源上训练的分类器普遍缺乏跨领域泛化能力,并公开提供该框架以复现和扩展我们的评估准则。最后,我们(iii)提出了一种有效的众包方法:在实验室环境中模拟真实欺凌场景可生成合理的数据,能有效用于丰富真实数据。这在很大程度上规避了可收集数据的限制,并提升了分类器性能。我们相信这些贡献有助于改进该领域未来研究的实证实践。
引用
@article{arxiv.1910.11922,
title = {Current Limitations in Cyberbullying Detection: on Evaluation Criteria, Reproducibility, and Data Scarcity},
author = {Chris Emmery and Ben Verhoeven and Guy De Pauw and Gilles Jacobs and Cynthia Van Hee and Els Lefever and Bart Desmet and Véronique Hoste and Walter Daelemans},
journal= {arXiv preprint arXiv:1910.11922},
year = {2021}
}