Transformer可求解连续时间下条件高斯信号的非线性与非马尔可夫滤波问题
机器学习
2026-04-03 v5 数值分析
神经与进化计算
数值分析
概率论
机器学习
摘要
基于注意力的深度学习模型（例如transformers与深度卡尔曼滤波器）在随机滤波中的应用近期成为焦点；然而，这些模型解决随机滤波问题的潜力在很大程度上仍属未知。本文通过证明一类称为filterformers的连续时间transformer模型能够近似实现给定含噪连续时间（可能非高斯）观测下广泛一类非马尔可夫且条件高斯信号过程的条件律，为机器学习理论基础中的这一开放问题给出了肯定回答。我们的逼近保证在连续时间路径的充分正则紧子集上一致成立，其中真实最优滤波器与我们的深度学习模型之间的最坏情形2-Wasserstein距离量化了逼近误差。我们的构造依赖于对标准注意力机制的两项新定制：第一项可无损适应广泛路径的特征，因为我们证明了该注意力机制将充分正则路径集合双 Lipschitz 嵌入到低维欧氏空间中；因此不会产生“降维误差”。后一项注意力机制则针对2-Wasserstein空间中高斯测度的几何而设计。我们的分析依赖于条件高斯设定下鲁棒最优滤波器的新的稳定性估计。
引用
@article{arxiv.2310.19603,
title = {Transformers Can Solve Non-Linear and Non-Markovian Filtering Problems in Continuous Time For Conditionally Gaussian Signals},
author = {Blanka Horvath and Anastasis Kratsios and Yannick Limmer and Xuwei Yang},
journal= {arXiv preprint arXiv:2310.19603},
year = {2026}
}