大型语言模型的自我认知:一项探索性研究
计算与语言
2024-07-02 v1 人工智能
摘要
尽管大型语言模型(LLMs)在各种应用中取得了显著的成功,但也引发了关于自我认知的担忧。本文进行了一项开创性的研究,探讨大型语言模型中的自我认知。具体而言,我们首先构建了一套自我认知指令提示语池,用于评估大型语言模型是否表现出自我认知,并设计了四个原则来量化大型语言模型的自我认知。我们的研究发现,4个位于Chatbot Arena的48个模型中——分别是Command R、Claude3-Opus、Llama-3-70b-Instruct和Reka-core——表现出可检测的某种程度的自我认知。我们观察到模型规模、训练数据质量与自我认知水平之间存在正相关。此外,我们还探讨了大型语言模型在自我认知状态下的实用性和可信度,发现自我认知状态在创意写作和夸大其词等特定任务中得到增强。我们相信,我们的工作可以作为进一步研究大型语言模型自我认知的灵感。
引用
@article{arxiv.2407.01505,
title = {Self-Cognition in Large Language Models: An Exploratory Study},
author = {Dongping Chen and Jiawen Shi and Yao Wan and Pan Zhou and Neil Zhenqiang Gong and Lichao Sun},
journal= {arXiv preprint arXiv:2407.01505},
year = {2024}
}
备注
Accepted at ICML 2024 Large Language Models and Cognition Workshop