双线性序列回归：用于高维标记序列学习的模型
无序系统与神经网络
2025-11-13 v2 机器学习
摘要
当前人工智能进展集中在处理长序列高维向量序列（称为标记）的神经网络上，即所谓的大型语言模型。统计物理提供了强大的工具来研究神经网络学习的运行方式，并在现代机器学习发展中发挥了重要作用。统计物理方法依赖于数据简化且可解析的模型。然而，对于长序列高维标记的简单可解析模型基本未被探索。灵感来自单层教师-学生感知器（即广义线性回归）在完全连接神经网络理论中的关键作用，本文我们引入并研究了双线性序列回归（BSR）作为标记序列的最基本模型之一。我们指出，现代架构本然包含 BSR 模型 due to the skip connections。基于近期方法ological 进展，我们计算了在高维标记长序列极限下模型的贝叶斯最优泛化误差，并提供了一个与此性能匹配的消息传递算法。我们量化了最优学习相对于对标记序列进行矢量化并通过简单线性回归学习所带来的改进。我们还揭示了 BSR 模型中梯度下降算法的惊人性质。
引用
@article{arxiv.2410.18858,
title = {Bilinear Sequence Regression: A Model for Learning from Long Sequences of High-dimensional Tokens},
author = {Vittorio Erba and Emanuele Troiani and Luca Biggio and Antoine Maillard and Lenka Zdeborová},
journal= {arXiv preprint arXiv:2410.18858},
year = {2025}
}