CTIBench：评估大语言模型在网络威胁情报中的基准
组合数学
2024-06-13 v1 概率论
摘要
网络威胁情报（CTI）是当今网络安全领域的关键，为理解和缓解不断演变的网络威胁提供必要见解。近期，大型语言模型（LLM）在该领域展现出潜力，但其可靠性、准确性及幻觉问题仍存疑虑。虽然现有基准提供了通用的LLM评估，但缺乏针对CTI特定任务的实用应用考量。为填补这一空白，我们引入CTIBench，一个专为评估LLM在CTI应用中表现而设计的基准。CTIBench包含多个数据集，聚焦评估LLM在网络威胁领域获取知识的能力。我们对几种最先进模型在这些任务上的表现进行评估，洞察了其在CTI情境下的优势与不足，为更好地理解LLM在CTI中的能力作出了贡献。
引用
@article{arxiv.2406.07597,
title = {A Central Limit Theorem on Two-Sided Descents of Mallows Distributed Elements of Finite Coxeter Groups},
author = {Maxwell Sun},
journal= {arXiv preprint arXiv:2406.07597},
year = {2024}
}
备注
49 pages, 1 figure. arXiv admin note: text overlap with arXiv:2005.09802 by other authors