用于在噪声和任务级流形上学习的Transformer：逼近与泛化洞察
机器学习
2026-05-19 v3 数值分析
数值分析
统计理论
统计理论
摘要
Transformer是大型语言和视频生成模型（如GPT、BERT、SORA及其后续模型）的基础架构。实证研究表明，现实世界的数据和学习任务呈现出低维结构，并伴有一些噪声或测量误差。Transformer的性能往往取决于数据/任务的内在维度，尽管对Transformer的理论理解在很大程度上仍未得到探索。这项工作通过分析Transformer在流形附近含噪声输入数据的回归任务中的性能，建立了一个理论基础。具体来说，输入数据位于一个流形的管状邻域内，而真实函数依赖于这些噪声数据在该流形上的投影，我们称之为任务级流形。我们证明了逼近误差和泛化误差，这些误差关键性地取决于任务级流形的内在维度。我们的结果表明，即使输入数据受到高维噪声的扰动，Transformer也能利用学习任务中的低复杂度结构。我们新颖的证明技术构建了Transformer对基本算术运算的表示，这可能具有独立的研究价值。
引用
@article{arxiv.2505.03205,
title = {Transformers for Learning on Noisy and Task-Level Manifolds: Approximation and Generalization Insights},
author = {Zhaiming Shen and Alex Havrilla and Rongjie Lai and Alexander Cloninger and Wenjing Liao},
journal= {arXiv preprint arXiv:2505.03205},
year = {2026}
}