大型语言模型能否自动化钓鱼警告解释？关于效果与用户感知的受控实验
密码学与安全
2025-12-16 v2 人机交互
摘要
钓鱼已成为现代网络安全中的突出风险，常用于规避技术防御，利用可预测的人类行为。警告对话框是标准的缓解措施，但缺乏解释性 clarity 和静态内容限制了其效果。在本文中，我们报告了评估大型语言模型（LLM）生成清晰、简洁且可扩展的钓鱼警告解释的能力的研究。我们进行了一次大规模 between-subjects 用户研究（N=750），比较了补充手动生成解释的警告对话框与由两种 LLM（Claude 3.5 Sonnet 和 Llama 3.3 70B）生成的警告对话框的影响。我们检验了两种解释风格（基于特征和反事实）对行为指标（点击-through rate）和感知结果（如信任、风险、清晰度）的影响。结果提供了经验证的证据表明，LLM 生成的解释在保护方面达到与专家精心制作的信息相当，有效自动化了一个高成本任务。尽管 Claude 3.5 Sonnet 显示出一种趋势，即减少点击-through rate 相对于手动基线，但 Llama 3.3 尽管被认为更清晰，却未产生相同的行为效应。基于特征的解释对真实钓鱼尝试更有效，而反事实解释则降低了误报率。其他变量，如工作量、性别和对警告对话框的熟悉程度，显著调节了警告的效果。这些结果表明，LLM 可用于自动为警告用户反钓鱼生成解释，此类解决方案是可扩展的、具有适应性的，并且符合以人类为中心的价值观。
引用
@article{arxiv.2507.07916,
title = {Can Large Language Models Automate Phishing Warning Explanations? A Controlled Experiment on Effectiveness and User Perception},
author = {Federico Maria Cau and Giuseppe Desolda and Francesco Greco and Lucio Davide Spano and Luca Viganò},
journal= {arXiv preprint arXiv:2507.07916},
year = {2025}
}