基于 KV 绑定的测试时训练其实是线性注意力
机器学习
2026-05-14 v4 人工智能
计算机视觉与模式识别
摘要
测试时训练(TTT)使用 KV 绑定作为序列建模层，常被解释为一种在测试时记忆键值映射的在线元学习。然而，我们的分析揭示了多个与此记忆基于解释相矛盾的现象。着手于这些发现，我们重新审视了 TTT 的公式，表明广泛的 TTT 架构可表示为一种学习的线性注意力算子。除了解释以前困惑的模型行为外，这一视角还带来了多个实际收益：它使架构简化成为原则性的，允许完全并行的形式在保持性能的同时提高效率，并提供了将多样化的 TTT 变体系统地归约为标准线性注意力形式的系统方法。总体而言，我们的结果将 TTT 重新定义为具增强表示能力的学习线性注意力。项目页面: https://research.nvidia.com/labs/sil/projects/tttla/。
引用
@article{arxiv.2602.21204,
title = {Test-Time Training with KV Binding Is Secretly Linear Attention},
author = {Junchen Liu and Sven Elflein and Or Litany and Zan Gojcic and Ruilong Li},
journal= {arXiv preprint arXiv:2602.21204},
year = {2026}
}
备注
ICML 2026, Webpage: https://research.nvidia.com/labs/sil/projects/tttla/