评估 LLM 在威胁情报扩展中的可用性
密码学与安全
2024-09-24 v1 计算与语言
人机交互
机器学习
摘要
大型语言模型（LLM）有望通过自动化威胁数据的收集、预处理和分析来显著提升威胁情报。然而，这些工具的可用性至关重要，以确保其能被安全专业人员有效采纳。尽管 LLM 具备先进能力，但关于其可靠性、准确性以及可能生成不准信息的担忧仍然存在。本研究对五种 LLM（ChatGPT、Gemini、Cohere、Copilot 和 Meta AI）进行全面可用性评估，重点考察其用户界面设计、错误处理、学习曲线、性能以及与现有威胁情报工具的集成情况。我们采用启发式遍历和用户研究方法，识别出关键可用性问题并提出可操作的改进建议。我们的发现旨在弥合 LLM 功能与用户体验之间的鸿沟，从而通过确保这些工具友好可靠，促进更高效和更准确的威胁情报实践。
引用
@article{arxiv.2409.15072,
title = {Evaluating the Usability of LLMs in Threat Intelligence Enrichment},
author = {Sanchana Srikanth and Mohammad Hasanuzzaman and Farah Tasnur Meem},
journal= {arXiv preprint arXiv:2409.15072},
year = {2024}
}