ChemSafetyBench：面向化学领域的 LLM 安全基准
计算与语言
2024-11-28 v1 人工智能
化学物理
摘要
大型语言模型 (LLM) 的快速发展和广泛应用令人瞩目，包括在科学研究中提供帮助。然而，这些模型常常生成科学上不正确或不安全的响应，甚至可能鼓励用户从事危险活动。为此，在化学领域提出 ChemSafetyBench，一个用于评估 LLM 响应准确性和安全性的基准测试集。ChemSafetyBench 涵盖三个关键任务：查询化学性质、评估化学用途的合法性、描述合成方法，每个任务所需的化学知识层次日益深入。我们的数据集包含超过 30K 样本，涵盖多种化学材料。我们采用手工设计的模板和高级的 jaboking 场景，以增强任务的多样性。我们的自动化评估框架全面评估 LLM 响应的安全性、准确性和合适性。对 state-of-the-art LLM 的大规模实验揭示了其显著优势和关键漏洞，凸显了需要 robust safety measures 的重要性。ChemSafetyBench 旨成为开发更安全化学 AI 技术的关键工具。我们的代码和数据集已公开于 https://github.com/HaochenZhao/SafeAgent4Chem。警告：本文讨论了使用 AI 模型合成受控化学品的情节。
引用
@article{arxiv.2411.16736,
title = {ChemSafetyBench: Benchmarking LLM Safety on Chemistry Domain},
author = {Haochen Zhao and Xiangru Tang and Ziran Yang and Xiao Han and Xuanzhi Feng and Yueqing Fan and Senhao Cheng and Di Jin and Yilun Zhao and Arman Cohan and Mark Gerstein},
journal= {arXiv preprint arXiv:2411.16736},
year = {2024}
}