使用多模态序列再现比较人类与大型语言模型的抽象能力
人工智能
2024-02-07 v1 计算与语言
神经元与认知
摘要
人类从嘈杂的感官数据中提取有用的世界抽象。序列再现使我们能够通过一个类似于传话游戏的范式来研究人们如何理解世界，其中一个人观察一个刺激并将其再现给下一个人，形成一条再现链。过去的序列再现实验通常采用单一感官模态，但人类经常通过语言相互交流对世界的抽象。为了研究语言对抽象形成的影响，我们实现了一个新颖的多模态序列再现框架，要求接收视觉刺激的人以语言格式再现它，反之亦然。我们对人类和GPT-4进行了单模态和多模态链实验，发现添加语言作为模态对人类再现的影响大于对GPT-4的影响。这表明人类的视觉和语言表征比GPT-4的更具可分离性。
引用
@article{arxiv.2402.03618,
title = {Comparing Abstraction in Humans and Large Language Models Using Multimodal Serial Reproduction},
author = {Sreejan Kumar and Raja Marjieh and Byron Zhang and Declan Campbell and Michael Y. Hu and Umang Bhatt and Brenden Lake and Thomas L. Griffiths},
journal= {arXiv preprint arXiv:2402.03618},
year = {2024}
}