中文安全问答：面向大语言模型的安全短篇事实性基准
计算与语言
2024-12-24 v2 人工智能
摘要
随着大语言模型（LLM）的快速发展，已引发显著的安全问题。从根本上说，大语言模型的安全性与其对安全知识的准确性、完整性和清晰度密切相关，尤其是在法律、政策和伦理等领域。这种事实能力是决定这些模型能否在特定地区安全合规地部署和应用的关键因素。为解决这些挑战并更好地评估大语言模型回答短问题的事实能力，我们介绍了中文安全问答（Chinese SafetyQA）基准。中文安全问答具有若干特性（即中文、多样、高质量、静态、易评估、与安全相关、无害）。基于中文安全问答，我们对现有大语言模型的事实能力进行了全面评估，并分析了这些能力如何与大语言模型能力（如RAG能力和抗攻击鲁棒性）相关联。
引用
@article{arxiv.2412.15265,
title = {Chinese SafetyQA: A Safety Short-form Factuality Benchmark for Large Language Models},
author = {Yingshui Tan and Boren Zheng and Baihui Zheng and Kerui Cao and Huiyun Jing and Jincheng Wei and Jiaheng Liu and Yancheng He and Wenbo Su and Xiangyong Zhu and Bo Zheng and Kaifu Zhang},
journal= {arXiv preprint arXiv:2412.15265},
year = {2024}
}