语言模型并未学习语言的物理表现
计算与语言
2024-06-07 v2 人工智能
摘要
我们认为纯语言模型并未学习语言的物理表现。我们通过一系列任务（称为H-Test）对语言的视觉-听觉属性进行了实证研究。这些任务凸显了人类语言理解与LLMs感官剥夺的语言理解之间的根本差距。支持我们假设的是：1. 刻意推理（思维链）、2. 少样本示例、或3. 同一模型系列中更强的LLM（LLaMA 2 13B -> LLaMA 2 70B）对H-Test性能均无显著影响。我们引入玛丽的思想实验案例，她在感官剥夺的环境中学习世界，以此作为理解纯语言模型如何学习世界的概念框架（Jackson, 1986）。我们的实验表明，一些最强的专有LLM的准确率仍接近随机基线50%，突显了在缺乏感官体验的情况下所获语言知识的局限性。我们的代码和数据可在<github.com/brucewlee/h-test>获取。
引用
@article{arxiv.2402.11349,
title = {Language Models Don't Learn the Physical Manifestation of Language},
author = {Bruce W. Lee and JaeHyuk Lim},
journal= {arXiv preprint arXiv:2402.11349},
year = {2024}
}
备注
ACL 2024 Main