我思故我在：基于 AwareBench 的大型语言模型意识基准测试
计算与语言
2024-02-19 v2
摘要
大型语言模型（LLM）是否 exhibit类似人类的某种意识形式？本文引入AwareBench，一个用于评估LLM意识的基准测试。我们借鉴心理学和哲学理论，定义LLM的意识为：理解自身作为AI模型的能力，以及展现社交智能的能力。随后，我们将LLM的意识划分为五个维度，包括能力、使命、情感、文化和视角。基于此分类体系，我们创建了名为AwareEval的数据集，包含二选题、多选题和开放题，用于评估LLM对特定意识维度的理解。我们的实验在13个LLM上进行，结果显示大多数LLM在完全识别其能力和使命方面存在挑战，但展现出相当好的社交智能。我们通过将LLM的意识与AI对齐和安全性联系起来，强调其对可信赖和伦理性LLM发展的重要性。我们的数据集和代码已在https://github.com/HowieHwong/Awareness-in-LLM 上提供。
引用
@article{arxiv.2401.17882,
title = {I Think, Therefore I am: Benchmarking Awareness of Large Language Models Using AwareBench},
author = {Yuan Li and Yue Huang and Yuli Lin and Siyuan Wu and Yao Wan and Lichao Sun},
journal= {arXiv preprint arXiv:2401.17882},
year = {2024}
}