PAN 2025 恶意软件检测任务概览

PAN 2025 的生成式恶意软件检测任务旨在识别科学文章中自动生成的文本抄袭并与其相应来源对齐。我们创建了一个使用三种大型语言模型：Llama、DeepSeek-R1 和 Mistral 的新型大规模抄袭数据集。本任务概览论文中，我们概述了该数据集的创建，总结并比较了所有参赛者及四个基线的结果，并对结果在 PAN 2015 年最后一次恶意软件检测任务上的表现进行评估，以解释所提出方法的鲁棒性。我们发现，该任务的当前迭代并未邀请大量多样化的方法，因为基于嵌入向量的 naive 语义相似性方法显示出最高可达 0.8 的召回率和 0.5 的精确率的有前景的结果。相比之下，这些方法在 2015 年数据集上表现显著不足，表明其普遍性不足。