面向恶意内容检测社区模型泛化的更真实评估设置
机器学习
2024-09-30 v1 计算与语言
社会与信息网络
摘要
社区模型用于恶意内容检测，这些模型结合了来自社交图的上下文信息以及内容本身，已在基准数据集上展现出卓越的性能。然而，误导信息和仇恨言论仍在社交媒体网络中传播。这种差距可部分归因于当前评估设置的局限性，这些设置忽略了在线内容和底层社交图的快速演化。在本文中，我们提出了一种基于few-shot子图采样方法的新型评估设置，用于测试模型的泛化能力。该设置通过 larger graph 中局部探索中少量标注示例进行测试，模拟了更真实的应用场景。我们展示了这是一个具有挑战性的归纳设置，在训练图上表现良好并不一定意味着在未见任务、领域或图结构上的表现良好。最后，我们表明使用我们提出的few-shot子图采样训练的图 meta-learner 在归纳设置中超越了标准社区模型。我们将代码公开于 GitHub。
引用
@article{arxiv.2404.01822,
title = {A (More) Realistic Evaluation Setup for Generalisation of Community Models on Malicious Content Detection},
author = {Ivo Verhoeven and Pushkar Mishra and Rahel Beloch and Helen Yannakoudakis and Ekaterina Shutova},
journal= {arXiv preprint arXiv:2404.01822},
year = {2024}
}
备注
To be published at Findings of NAACL 2024