反转诅咒是束缚问题吗？从基础泛化失败中揭示 Transformer 的局限性
计算与语言
2026-02-11 v2 机器学习
摘要
尽管展现出惊人的能力，大语言模型（LLM）仍存在一种基础的泛化失败，称为反转诅咒（Reversal Curse），即它们在学习可逆事实关联时表现不佳。理解这一现象发生的原因有助于识别当前模型的弱点，并推动其泛化性和鲁棒性的提升。本文我们推断，LLM 中的反转诅咒是认知科学、神经科学和人工智能领域长期存在的绑定问题（binding problem）的一种体现。具体而言，我们假设，反转诅咒的两个主要原因源于 Transformer 在概念绑定方面的局限性：概念表示的不一致性和概念表示的纠缠。我们进行一系列实验以支持这些假设。我们的探索导致一种基于 JEPA（Joint-Embedding Predictive Architecture）的模型设计，首次在不依赖特定数据增强或非因果遮蔽的情况下破解反转诅咒，并且通过引入支持解耦概念表示的特殊记忆层，进一步提升了泛化能力。我们的研究开启了设计能够以更少人类 scaffolding 学习系统概念绑定的模型这一更广泛的根本性挑战。
引用
@article{arxiv.2504.01928,
title = {Is the Reversal Curse a Binding Problem? Uncovering Limitations of Transformers from a Basic Generalization Failure},
author = {Boshi Wang and Huan Sun},
journal= {arXiv preprint arXiv:2504.01928},
year = {2026}
}
备注
ICLR 2026