IntellBot: 用于网络安全威胁知识传递的检索增强LLM聊天机器人
信息检索
2024-11-11 v1
摘要
在快速发展的网络安全领域，智能聊天机器人正日益受到重视。人工智能、机器学习和自然语言处理技术使这些聊天机器人能够处理用户查询并传递威胁情报。这有助于网络安全知识向专业人员和公众便捷获取。传统基于规则的聊天机器人往往缺乏灵活性，难以适应用户交互。相比之下，基于大语言模型的聊天机器人能够在多个领域提供上下文相关的信息，并适应不断变化的对话语境。在本工作中，我们开发了IntellBot，一个先进的网络安全聊天机器人，依托大语言模型和Langchain等前沿技术，并结合检索增强生成模型，以提供卓越能力。该聊天机器人从多种数据源收集信息，构建了一个涵盖已知漏洞、近期网络攻击和新兴威胁的全面知识库。它提供定制化响应，作为网络安全洞察的主要中心。通过即时获取相关信息和资源，IntellBot增强了威胁情报、事件响应和整体安全态势，节省了时间并赋予用户网络安全最佳实践的知识。此外，我们采用两阶段评估策略分析了copilot的性能。通过间接方法，我们实现了高于0.8的BERT分数，以及0.8到1之间的余弦相似度分数，这证实了copilot的准确性。此外，我们利用RAGAS评估了RAG模型，所有评估指标一致产生了高于0.77的分数，凸显了我们系统的有效性。
引用
@article{arxiv.2411.05442,
title = {IntellBot: Retrieval Augmented LLM Chatbot for Cyber Threat Knowledge Delivery},
author = {Dincy R. Arikkat and Abhinav M. and Navya Binu and Parvathi M. and Navya Biju and K. S. Arunima and Vinod P. and Rafidha Rehiman K. A. and Mauro Conti},
journal= {arXiv preprint arXiv:2411.05442},
year = {2024}
}