Dynamics Reveals Structure: Challenging the Linear Propagation Assumption
机器学习
2026-05-26 v2 人工智能
摘要
神经网络通过一阶参数更新进行适应，但是否如此更新能保持逻辑一致性仍不明确。我们调查了线性传播假设(LPA)的几何限制，即局部更新能否一致地传播到逻辑后果。为形式化这一假设，我们采用关系代数，研究三类核心操作：negation翻转真值，converse交换参数顺序，composition链式关系。对于negation和converse，我们证明确保方向无关的一阶传播需要一种张量分解，将实体对上下文与关系内容分离。然而，对于composition，我们识别出根本性的障碍。我们指出，composition简化为conjunction，并证明任何在线性特征上定义良好的conjunction必须是双线性的。由于双线性与negation不兼容，这迫使特征图塌陷。这一结果表明，知识编辑、反转诅咒以及多跳推理的失败可能源于LPA固有的结构限制。
引用
@article{arxiv.2601.21601,
title = {Dynamics Reveals Structure: Challenging the Linear Propagation Assumption},
author = {Hoyeon Chang and Bálint Mucsányi and Seong Joon Oh},
journal= {arXiv preprint arXiv:2601.21601},
year = {2026}
}