大语言模型中无指称的意义
计算与语言
2022-08-15 v2 人工智能
摘要
大语言模型（LLMs）的广泛成功伴随着对其是否拥有类似人类概念或意义的质疑。与声称 LLMs 毫无意义的说法相反，我们认为它们很可能捕捉了意义的重要方面，并且其工作方式近似于一种关于人类认知的令人信服的说明，其中意义源于概念角色。由于概念角色由内部表征状态之间的关系所定义，意义不能由模型的架构、训练数据或目标函数确定，而只能通过对内部状态彼此关联方式的考察来确定。这一思路或可阐明 LLMs 为何及如何如此成功，并提示如何使其更具人类相似性。
引用
@article{arxiv.2208.02957,
title = {Meaning without reference in large language models},
author = {Steven T. Piantadosi and Felix Hill},
journal= {arXiv preprint arXiv:2208.02957},
year = {2022}
}