思维混乱：通过词序混乱现象揭示大语言模型心理学
人工智能
2024-10-25 v3
摘要
对大型语言模型外部行为和内部机制的研究在解决物理世界中的复杂任务方面已显示出潜力。研究表明，像GPT-4这样强大的LLM开始展现出类似人类的认知能力，包括规划、推理和反思。在本文中，我们提出了一条名为“LLM心理学”的研究路线和方法论，利用人类心理学实验来探究LLM的认知行为和机制。我们将心理学中的“词序混乱”现象迁移过来，以探索LLM的“心智”。与依赖上下文和单词模式来理解乱序文本的人类大脑不同，LLM使用独特的编码和解码过程。通过在字符、单词和句子层面进行词序混乱实验，我们观察到：(I) LLM在宏观尺度上表现出类似人类的行为，例如任务准确率降低和令牌/时间消耗增加；(II) LLM对乱序输入表现出不同的鲁棒性，使得词序混乱现象成为无需新数据集的模型评估基准；(III) 不同的任务类型影响各异，复杂的逻辑任务（例如数学）在乱序形式下更具挑战性；(IV) 每个LLM在不同任务中都具有独特且一致的“认知模式”，揭示了其心理过程中的通用机制。我们对隐藏层进行了深入分析以解释这些现象，为未来LLM心理学和更深层次可解释性的研究铺平了道路。
引用
@article{arxiv.2410.01677,
title = {Mind Scramble: Unveiling Large Language Model Psychology Via Typoglycemia},
author = {Miao Yu and Junyuan Mao and Guibin Zhang and Jingheng Ye and Junfeng Fang and Aoxiao Zhong and Yang Liu and Yuxuan Liang and Kun Wang and Qingsong Wen},
journal= {arXiv preprint arXiv:2410.01677},
year = {2024}
}