利用跨平台数据改进自动化仇恨言论检测

仇恨言论在网络上日益泛滥，其负面后果包括偏见加剧、极端主义甚至线下仇恨犯罪。对网络仇恨言论的自动检测有助于我们更好地理解这些影响。然而，尽管该领域近期因自然语言处理的进展而取得进步，挑战依然存在。特别是，大多数现有的仇恨言论检测方法孤立地聚焦于单一社交媒体平台。这限制了这些模型的可用性及其有效性，因为语言的性质因平台而异。在此我们提出一种检测仇恨言论的新跨平台方法，其利用来自不同平台的多个数据集与分类模型，并训练一个超级学习器（superlearner），能够结合已有与新训练数据以改进检测并提升模型适用性。我们展示了该方法如何优于现有模型，并在来自原始训练数据未包含的新社交媒体平台的消息上测试时取得良好表现。