语言模型如何在上下文中绑定实体？
机器学习
2024-05-07 v2 人工智能
计算与语言
摘要
为正确使用上下文信息，语言模型（LMs）必须将实体绑定到其属性。例如，给定描述“绿色方块”和“蓝色圆圈”的上下文，LMs 必须将形状绑定到各自颜色。我们分析 LM 表示并识别出绑定 ID 机制：一种解决绑定问题的通用机制，我们在 Pythia 和 LLaMA 系列每个足够大的模型中均观察到该机制。利用因果干预，我们表明 LMs 的内部激活通过将绑定 ID 向量附加到相应实体和属性来表示绑定信息。我们进一步表明绑定 ID 向量构成一个连续子空间，其中绑定 ID 向量间的距离反映其可区分性。总体而言，我们的结果揭示了 LMs 中用于表示上下文符号知识的可解释策略，为理解大规模 LMs 中的通用上下文推理迈出一步。
引用
@article{arxiv.2310.17191,
title = {How do Language Models Bind Entities in Context?},
author = {Jiahai Feng and Jacob Steinhardt},
journal= {arXiv preprint arXiv:2310.17191},
year = {2024}
}