鱼鱼、垃圾邮件与有效邮件：用于基准测试 LLM 的生成特征丰富邮件
密码学与安全
2026-03-23 v5 人工智能
数据库
摘要
本文介绍了元数据丰富的生成框架 (PhishFuzzer),该框架将真实邮件输入到大型语言模型 (LLM) 中,以生成23,100个在受控实体和长度维度上具有多样性且结构一致的邮件变体。与现有数据集不同,本数据集包含严格的三类标签 (钓鱼邮件、垃圾邮件、有效邮件),提供完整的 URL 和附件元数据,并为每封邮件标注了攻击意图。使用该数据集,我们在基本 (正文、主题) 和完整 (+URL、发件人、附件) 两种设置下对两款最先进的 LLM (Qwen-2.5-72B 和 Gemini-3.1-Pro) 进行基准测试。通过应用形式置信度指标 (任务成功率和置信度指数),我们分析了模型的可靠性、对语言模糊化的鲁棒性,以及结构元数据对检测准确率的影响。我们的完全开源框架和数据集为评估下一代邮件安全系统提供了严谨的基础。为支持开放科学,我们将 PhishFuzzer 数据集、生成脚本和提示词均置于 GitHub: https://github.com/DataPhish/PhishFuzzer
引用
@article{arxiv.2511.21448,
title = {The Phish, The Spam, and The Valid: Generating Feature-Rich Emails for Benchmarking LLMs},
author = {Rebeka Toth and Tamas Bisztray and Nils Gruschka},
journal= {arXiv preprint arXiv:2511.21448},
year = {2026}
}