重新思考 CyberSecEval：一种基于 LLM 的评估批判方法
人工智能
2024-11-14 v1
摘要
网络安全评估领域的一个关键发展是 Meta 通过其 CyberSecEval 方法所做的工作。虽然这项工作无疑是对这一新兴领域的有益贡献，但存在一些限制其效用的显著特征。主要缺点集中在 Meta 方法论中不安全代码检测部分。我们探讨这些局限性，并将其作为 LLM 辅助基准分析的测试用例。
引用
@article{arxiv.2411.08813,
title = {Rethinking CyberSecEval: An LLM-Aided Approach to Evaluation Critique},
author = {Suhas Hariharan and Zainab Ali Majid and Jaime Raldua Veuthey and Jacob Haimes},
journal= {arXiv preprint arXiv:2411.08813},
year = {2024}
}
备注
NeurIPS 2024, 2 pages