KGPA：通过跨领域知识图谱评估大语言模型的鲁棒性
计算与语言
2024-06-18 v1 人工智能
摘要
现有的评估大语言模型（LLM）鲁棒性的框架过度依赖特定基准，增加了成本，并且由于数据集限制，无法评估LLM在专业领域的性能。本文提出了一个框架，通过利用知识图谱（KG）系统性地评估LLM在对抗性攻击场景下的鲁棒性。我们的框架从知识图谱的三元组生成原始提示，并通过投毒创建对抗性提示，通过这些对抗性攻击的结果来评估LLM的鲁棒性。我们系统地评估了该框架及其模块的有效性。实验表明，ChatGPT系列的对抗鲁棒性排序为GPT-4-turbo > GPT-4o > GPT-3.5-turbo，并且大语言模型的鲁棒性受其运行的专业领域影响。
引用
@article{arxiv.2406.10802,
title = {KGPA: Robustness Evaluation for Large Language Models via Cross-Domain Knowledge Graphs},
author = {Aihua Pei and Zehua Yang and Shunan Zhu and Ruoxi Cheng and Ju Jia and Lina Wang},
journal= {arXiv preprint arXiv:2406.10802},
year = {2024}
}