RECALL：自引用因果循环增强语言模型中的类库行为
计算与语言
2025-01-24 v1 人工智能
摘要
我们引入自引用因果循环（缩写为 RECALL）的概念——一种使大语言模型（LLM）能够绕过单向因果性限制的机制，该限制是导致一种被称为逆转诅咒的现象的基础。当向 LLM 提供顺序数据时，它常常无法回忆起前文语境。例如，当我们要求 LLM 回忆美国国歌中“O say does that star-spangled banner yet wave”的前一句时，它常常无法正确返回“Gave proof through the night that our flag was still there”——这就是由于逆转诅咒。它之所以发生，是因为像 ChatGPT 和 Llama 这样的语言模型基于前面的词元生成文本，要求事实以一致的词元顺序被学习和复现。虽然逆转诅咒通常被视为一种限制，但我们提供了另一种观点的证据：在实践中，它并非总是障碍。我们发现 RECALL 是由我们称之为循环词元的序列驱动的——这些序列连接训练数据的不同部分，使得能够从后续词元回忆起前面的词元。通过严格的概率形式化和受控实验，我们展示了它们诱导的循环如何影响模型复现信息的能力。为便于复现，我们在 https://anonymous.4open.science/r/remember-B0B8/ 提供了代码和实验细节。
引用
@article{arxiv.2501.13491,
title = {RECALL: Library-Like Behavior In Language Models is Enhanced by Self-Referencing Causal Cycles},
author = {Munachiso Nwadike and Zangir Iklassov and Toluwani Aremu and Tatsuya Hiraoka and Velibor Bojkovic and Benjamin Heinzerling and Hilal Alqaubeh and Martin Takáč and Kentaro Inui},
journal= {arXiv preprint arXiv:2501.13491},
year = {2025}
}