Jacobian 作用域：LLM 中的 token 级因果归因
计算与语言
2026-03-17 v2 人工智能
摘要
大型语言模型（LLMs）基于上下文中存在的线索（如语义描述和 in-context 示例）进行下一个 token 的预测。然而，阐明哪些先前 token 最强烈地影响给定预测仍具有挑战性，因为现代架构中层数和注意力头的数量众多。我们提出 Jacobian 作用域（Jacobian Scopes），一套基于梯度的、用于解释 LLM 预测的 token 级因果归因方法。该方法基于扰动理论和信息几何学，量化输入 token 对模型预测各方面的影响，如特定 logits、完整的预测分布以及模型不确定性（有效温度）。通过涵盖指令理解、翻译和 in-context 学习（ICL）的案例研究，我们展示了 Jacobian 作用域揭示了隐式的政治偏见、揭示了词汇和短语级的翻译策略，并阐明了最近备受争议的 in-context 时间序列预测机制。为便于在自定义文本上探索 Jacobian 作用域，我们开源了实现代码，并提供云端托管的交互式演示，地址为 https://huggingface.co/spaces/Typony/JacobianScopes。
引用
@article{arxiv.2601.16407,
title = {Jacobian Scopes: token-level causal attributions in LLMs},
author = {Toni J. B. Liu and Baran Zadeoğlu and Nicolas Boullé and Raphaël Sarfati and Christopher J. Earls},
journal= {arXiv preprint arXiv:2601.16407},
year = {2026}
}
备注
16 pages, 15 figures, under review at ACL 2026