MultiCW：用于训练鲁棒性检查值检测模型的大规模平衡基准数据集

大型语言模型（LLMs）正在开始改变媒体专业人员如何验证信息的方式，但自动支持检测 check-worthy 主张的工具在 fact-checking 流程中的关键步骤仍有限。我们引入了多Check-worthy（MultiCW）数据集，这是一个跨16种语言、7个主题领域和2种写作风格的平衡多语言基准，用于 check-worthy 主张检测。数据集包含123,722个样本，在噪声（非正式）和结构（正式）文本之间均匀分布，所有语言中 check-worthy 和 non-check-worthy 类别都得到均衡表示。为了探索鲁棒性，我们还引入了一个在4个额外语言中、平衡的 out-of-distribution 评估集，包含27,761个样本。为了提供基线，我们对3个常用的多语言变换器进行微调，并在多样化的15个商业和开源LLM中进行零-shot 设置下的基准测试。我们的发现表明，微调的模型在主张分类方面始终优于零-shot LLM，并在语言、领域和风格之间展现出强大的 out-of-distribution 普遍性。MultiCW 为推进自动 fact-checking 和在 check-worthy 主张检测任务中在微调模型和最先进LLM之间进行系统比较提供了严格的多语言资源。