超越相关性：大型语言模型是否学习了空间的因果表示？
计算与语言
2023-12-29 v1 人工智能
机器学习
摘要
最近的工作发现大型语言模型（LLM）的学习表示与其输入的地理空间属性之间存在高互信息，暗示了一种涌现的内部空间模型。然而，该工作并未回答这种内部空间模型是否对LLM的行为有任何因果影响，导致这些发现被批评为仅仅是统计相关性。我们的研究专注于揭示LLM中空间表示的因果性。特别是，我们使用表示相似性分析以及线性和非线性探针发现了DeBERTa、GPT-Neo中的潜在空间表示。我们的因果干预实验表明，空间表示影响了模型在下一次词预测和依赖地理空间信息的下游任务上的性能。我们的实验表明，LLM在解决地理空间相关任务时学习并使用内部空间模型。
引用
@article{arxiv.2312.16257,
title = {More than Correlation: Do Large Language Models Learn Causal Representations of Space?},
author = {Yida Chen and Yixian Gan and Sijia Li and Li Yao and Xiaohan Zhao},
journal= {arXiv preprint arXiv:2312.16257},
year = {2023}
}
备注
12 pages, 15 figures