基于卡尔曼滤波与克里金的精确跟踪 Transformer
机器学习
2026-05-20 v1 人工智能
摘要
Transformer 是现代 AI 的基础构建模块，但未提供原则性处理 \emph{不确定性} 的方式，而这种不确定性在实际应用中十分常见：在序列推荐中因历史稀疏而产生的冷启动 token、语言模型中异构信号质量，以及由无约束 softmax 引发的注意力沉底。每个 token 都被视为具有统一的置信度。我们表明，这种统一性是我们 \emph{Bayesian Filtering Transformer} (BFT) 的退化情形：注意力机制转化为精度加权的克里金估计，残差连接转化为带有自适应增益的卡尔曼更新，前馈网络(FNN)转化为通过雅可比-加-过程噪声规则传递精度的动力学模型。观测精度来自无参数化的受限最大似然(REML)估计器，配合共轭贝叶斯先验。BFT 可以极小的开销替换任意 Transformer 层。在序列推荐任务上，BFT 应用于三个主要架构，在六个基准测试中均取得显著提升，尤其在冷启动用户和稀有物品上提升最大。在大语言模型的监督微调中处理噪声数据时，BFT 在两个场景中提升鲁棒性：噪声监督(问答中 token-label 损坏)和噪声上下文(检索增强问答中的真实 RAG 干扰项)。单一的原则性修改——恢复精度——在两大经典序列建模和现代 LLM 场景中均 unlocking 了大量潜力。
关键词
引用
@article{arxiv.2605.18832,
title = {Precision Tracked Transformer via Kalman Filtering, Kriging and Process Noise},
author = {Bo Long and Deepak Agarwal and Jelena Markovic-Voronov and Yi Wang and Liuqing Li},
journal= {arXiv preprint arXiv:2605.18832},
year = {2026}
}