大语言模型跨六种模态预测人类感官判断
计算与语言
2023-06-16 v2 机器学习
机器学习
摘要
确定感知世界能在多大程度上从语言中复原，是哲学与认知科学中的长期问题。我们表明，最先进的大语言模型（LLM）可通过提供从语言中提取的感知信息量的下界，为该问题提供新见解。具体而言，我们在六个心理物理数据集上从 GPT 模型中引出成对相似性判断。我们表明这些判断在所有领域均与人类数据显著相关，复原了如色轮与音高螺旋等著名表征。令人惊讶的是，我们发现一个在视觉与语言上联合训练的模型（GPT-4）未必带来视觉模态特有的改进。为研究特定语言对感知的影响，我们还将模型应用于多语言颜色命名任务。我们发现 GPT-4 复现了英语与俄语中的跨语言差异，阐明了语言与感知的相互作用。
引用
@article{arxiv.2302.01308,
title = {Large language models predict human sensory judgments across six modalities},
author = {Raja Marjieh and Ilia Sucholutsky and Pol van Rijn and Nori Jacoby and Thomas L. Griffiths},
journal= {arXiv preprint arXiv:2302.01308},
year = {2023}
}
备注
9 pages, 3 figures