中文

大型语言模型的自我认知:一项探索性研究

计算与语言 2024-07-02 v1 人工智能

摘要

尽管大型语言模型(LLMs)在各种应用中取得了显著的成功,但也引发了关于自我认知的担忧。本文进行了一项开创性的研究,探讨大型语言模型中的自我认知。具体而言,我们首先构建了一套自我认知指令提示语池,用于评估大型语言模型是否表现出自我认知,并设计了四个原则来量化大型语言模型的自我认知。我们的研究发现,4个位于Chatbot Arena的48个模型中——分别是Command R、Claude3-Opus、Llama-3-70b-Instruct和Reka-core——表现出可检测的某种程度的自我认知。我们观察到模型规模、训练数据质量与自我认知水平之间存在正相关。此外,我们还探讨了大型语言模型在自我认知状态下的实用性和可信度,发现自我认知状态在创意写作和夸大其词等特定任务中得到增强。我们相信,我们的工作可以作为进一步研究大型语言模型自我认知的灵感。

关键词

引用

@article{arxiv.2407.01505,
  title  = {Self-Cognition in Large Language Models: An Exploratory Study},
  author = {Dongping Chen and Jiawen Shi and Yao Wan and Pan Zhou and Neil Zhenqiang Gong and Lichao Sun},
  journal= {arXiv preprint arXiv:2407.01505},
  year   = {2024}
}

备注

Accepted at ICML 2024 Large Language Models and Cognition Workshop