在大语言模型时代防御社交工程攻击
计算与语言
2024-10-15 v2
摘要
大语言模型（LLM）的普及带来了识别和缓解数字欺骗的挑战，因为这些模型能够模拟人类的对话模式，促进基于聊天的社交工程（CSE）攻击。本研究探讨了LLM作为CSE威胁的“双重”能力，即既是攻击的助理，也是防御手段。我们开发了一套新型数据集SEConvo，模拟学术和招聘场景中的CSE情境，以考察LLM在此类情境中的潜在被利用风险。我们的发现表明，尽管即插即用的LLM能够生成高质量的CSE内容，但其检测能力仍不理想，导致防御成本增加。为此，我们提出ConvoSentinel，一个模块化的防御管线，能够在消息层面和对话层面提升检测效果，具备更好的适应性和成本效益。ConvoSentinel中的检索增强模块通过将消息与类似对话的数据库进行比较来识别恶意意图，从而在各个阶段提升CSE检测能力。本研究凸显了面向网络安全的先进策略以充分利用LLM的必要性。
引用
@article{arxiv.2406.12263,
title = {Defending Against Social Engineering Attacks in the Age of LLMs},
author = {Lin Ai and Tharindu Kumarage and Amrita Bhattacharjee and Zizhou Liu and Zheng Hui and Michael Davinroy and James Cook and Laura Cassani and Kirill Trapeznikov and Matthias Kirchner and Arslan Basharat and Anthony Hoogs and Joshua Garland and Huan Liu and Julia Hirschberg},
journal= {arXiv preprint arXiv:2406.12263},
year = {2024}
}