RNNs 与 DNNs 特征学习统一理论
机器学习
2026-02-18 v1 无序系统与神经网络
摘要
循环神经网络（RNNs）和深度神经网络（DNNs）是机器学习中的核心架构。惊人的是，RNNs 与 DNNs 仅在权重共享方面存在差异，经过时间展开后可见这一点。如何将这种结构相似性与这些网络所表现的不同功能属性相结合？为此，本文发展了一种统一的均值场理论，用于描述 RNNs 和 DNNs 中的特征学习（P） regime。该理论以表示性核为基础，完整描述训练后的网络，使训练被视为序列和模式的贝叶斯推断，直接揭示了由 RNNs 权重共享所引发的功能影响。在 DNN 典型任务中，我们识别出当学习信号克服权重随机性带来的噪声时的相位转变：该阈值以下时，RNNs 与 DNNs 行为相同；该阈值以上时，仅 RNNs 在时间步之间发展出相关表示。对于顺序任务，RNNs 的权重共享进一步导致一种归纳偏置，通过插值无监督时间步来帮助泛化。总体而言，我们的理论提供了一种将架构结构与功能偏置相联系的方法。
引用
@article{arxiv.2602.15593,
title = {A unified theory of feature learning in RNNs and DNNs},
author = {Jan P. Bauer and Kirsten Fischer and Moritz Helias and Agostina Palmigiano},
journal= {arXiv preprint arXiv:2602.15593},
year = {2026}
}