网络犯罪论坛中利用大语言模型（LLM）进行网络威胁情报（CTI）研究
密码学与安全
2024-10-02 v3 人工智能
计算与语言
摘要
大语言模型（LLMs）可用于分析网络犯罪论坛中的网络威胁情报（CTI）数据，这些论坛包含关于新兴网络威胁的广泛信息和关键讨论。然而，到目前为止，LLMs在这类关键任务上的准确性和效率尚未得到充分评估。因此，本研究评估了基于OpenAI GPT-3.5-turbo模型[8]构建的LLM系统在提取CTI信息方面的性能。为此，从三个网络犯罪论坛——XSS、Exploit_in和RAMP——中随机抽取了700多条每日对话，并指示LLM系统仅使用简单的人类语言指令来总结对话并预测10个关键CTI变量，例如是否针对大型企业和/或关键基础设施。随后，两名编码员审查了每条对话，并评估LLM提取的信息是否准确。LLM系统表现良好，平均准确率为96.23%，平均精确率为90%，平均召回率为88.2%。研究发现了多种改进模型的方法，例如需要帮助LLM区分故事与过去事件，以及在提示中注意动词时态。尽管如此，本研究的结果强调了使用LLMs进行网络威胁情报的相关性。
引用
@article{arxiv.2408.03354,
title = {The Use of Large Language Models (LLM) for Cyber Threat Intelligence (CTI) in Cybercrime Forums},
author = {Vanessa Clairoux-Trepanier and Isa-May Beauchamp and Estelle Ruellan and Masarah Paquet-Clouston and Serge-Olivier Paquette and Eric Clay},
journal= {arXiv preprint arXiv:2408.03354},
year = {2024}
}