评估前沿人工智能模型的生物威胁基准生成框架 I：任务-查询架构

模型开发者和政策制定者寻求量化和缓解快速演化的前沿人工智能(AI)模型，尤其是大型语言模型(LLM)，以便于生物恐怖主义或获取生物武器。此类努力的一个重要组成部分是开发能够评估特定模型所施加的生物安全风险的模型基准。本文描述了 novel Biothreat Benchmark Generation(BBG)框架的第一个组件。BBG方法旨在帮助模型开发者和评估者可靠地测量和评估现有和未来AI模型的生物安全风险提升和一般性伤害潜力，同时考虑到其他基准评估努力中常被忽视的威胁本身的关键方面，包括不同的行动者能力水平以及操作性(除纯技术性外)风险因素。作为一个试点，BBG首先被开发以针对细菌生物威�胁。BBG建立在生物威胁类别、元素和任务的层次结构之上，然后作为开发任务对齐查询的基础。本文概述了这个生物威胁任务-查询架构的开发， 我们将其命名为 Bacterial Biothreat Schema，而未来的论文将描述将查询转化为模型提示的后续工作，以及如何为模型评估实现所得基准的实现。总体而言， BBG框架，包括 Bacterial Biothreat Schema，旨在为评估LLMs引发的细菌生物风险提供一个稳健、可重用的结构，跨多个聚合水平，涵盖生物对手所需的全部技术和操作要求，并考虑广泛的生物对手能力范围。