语言模型中的关系线性属性：实证研究
机器学习
2026-05-26 v2
摘要
线性属性在语言模型的表示中无处不在；然而，对其进行实验性测试仍然是一个具有挑战性的任务。本文聚焦于关系线性性：即对于固定关系（例如“演奏”），通过线性映射从主体（例如“Miles Davis”）的嵌入向量来预测客体（例如“小号”）的解嵌入。我们present了一种测试Marconato等人（2025）所提出关系线性公式的方法。具体而言，我们引入了一种基于KL散度的探测方法，用于评估该属性，并检查其在不同层数和改写关系查询中的变化。该方法也比以前的工作更高效；例如，它避免了Linear Relational Embeddings中Hernandez等人（2024）使用的粗糙雅可比近似。我们的发现表明，关系线性性在不同模型之间存在差异， exhibits出与先前关于语言信息在模型表示中层次模式一致的层级模式，并且对关系表述方式的变化影响不同。
引用
@article{arxiv.2605.22532,
title = {Relational Linear Properties in Language Models: An Empirical Investigation},
author = {Giovanni Valer and Luigi Gresele and Marco Bronzini and Emanuele Marconato},
journal= {arXiv preprint arXiv:2605.22532},
year = {2026}
}