SCRum-9：针对社交媒体上流言的多语言立场分类

我们介绍了SCRum-9，目前最大规模的多语言立场分类数据集，用于社交媒体上流言分析，包含来自X平台的7,516条推文。SCRum-9超越了现有立场分类数据集的做法，除了覆盖更多语言、链接更多事实核查声称（2,100个）外，还包括来自多个标注者的置信度相关标注，以衡量标注间的变异性。每种语言至少由两名母语者进行标注，总计超过405小时的标注工作和8,150美元的补偿。进一步，SCRum-9用于对五个大型语言模型（LLMs）和两个多语言掩码语言模型（MLMs）进行In-Context学习（ICL）和fine-tuning设置的基准测试。本文还创新性地探索了使用多语言合成数据进行流言立场分类的方法，表明即使是性能较弱的LLMs也能为微小MLMs的fine-tuning产生有价值的合成数据，使其在没有零样本ICL情况下可实现更高的性能。最后，我们检查了模型预测与人类不确定性在歧义案例中的关系，发现模型预测往往与标注者指定的第二选择标签相吻合，而非完全偏离人类判断。SCRum-9已公开发布给研究社区，旨在推动进一步研究多语言社交媒体上误导叙事的分析。