PromptBench：一个用于评估大型语言模型的统一库
人工智能
2024-08-21 v3 计算与语言
机器学习
摘要
对大型语言模型（LLMs）的评估对于衡量其性能并缓解潜在安全风险至关重要。本文介绍了 PromptBench，一个用于评估 LLMs 的统一库。它由几个关键组件构成，这些组件易于研究人员使用和扩展：提示构建、提示工程、数据集与模型加载、对抗性提示攻击、动态评估协议以及分析工具。PromptBench 旨在成为一个开放、通用且灵活的代码库，用于研究目的，可促进在创建新基准、部署下游应用和设计新评估协议方面的原创性研究。代码可在 https://github.com/microsoft/promptbench 获取，并将持续维护。
引用
@article{arxiv.2312.07910,
title = {PromptBench: A Unified Library for Evaluation of Large Language Models},
author = {Kaijie Zhu and Qinlin Zhao and Hao Chen and Jindong Wang and Xing Xie},
journal= {arXiv preprint arXiv:2312.07910},
year = {2024}
}
备注
Accepted by Journal of Machine Learning Research (JMLR); code: https://github.com/microsoft/promptbench