用于评估前沿AI模型的生物威胁基准生成框架 II：基准生成过程
机器学习
2025-12-10 v1 人工智能
计算机与社会
新兴技术
摘要
快速演进的前沿人工智能（AI）模型，尤其是大语言模型（LLM），可能促进生物恐怖主义或获取生物武器，这已在政策、学术和公众层面引发了重大关注。模型开发者和政策制定者都寻求量化和缓解任何风险，其中此类努力的重要组成部分是开发能够评估特定模型所构成的生物安全风险的模型基准。本文是三篇系列论文中的第二篇，描述了一种新型生物威胁基准生成（BBG）框架的第二个组成部分：细菌生物威胁基准（B3）数据集的开发过程。该开发过程涉及三种互补的方法：1）基于网络的提示生成，2）红队测试，以及3）挖掘现有基准语料库，以生成与项目第一部分开发的Task-Query架构相联系的7000多个潜在基准。经过去重、随后进行提升诊断性评估和一般质量控制措施，候选基准被缩减为1010个最终基准。该程序确保这些基准a）在提供提升方面具有诊断性；b）与生物安全威胁直接相关；c）与一个允许在不同分析层面进行细致分析的更大型生物安全架构保持一致。
引用
@article{arxiv.2512.08451,
title = {Biothreat Benchmark Generation Framework for Evaluating Frontier AI Models II: Benchmark Generation Process},
author = {Gary Ackerman and Zachary Kallenborn and Anna Wetzel and Hayley Peterson and Jenna LaTourette and Olivia Shoemaker and Brandon Behlendorf and Sheriff Almakki and Doug Clifford and Noah Sheinbaum},
journal= {arXiv preprint arXiv:2512.08451},
year = {2025}
}
备注
18 pages, 3 figures