OUI 作为结构可观测量：迈向以激活为中心的神经网络训练观
机器学习
2026-05-13 v1
摘要
激活函数是使深度网络具有表达力的关键：没有它们，模型将退化为线性映射。然而，我们仍然主要通过损失、准确率、回报或最终校准等外部指标来评估训练，而网络内部结构的演化在很大程度上仍未被观测。在本文中，我们主张应将过拟合-欠拟合指标（OUI）理解为该内部结构的首个实用可观测量。在我们近期的结果中，OUI 始终表现为一种早期的、无标签的、基于激活的信号，能够在收敛之前揭示网络是进入了一个糟糕的训练状态还是一个有前景的训练状态。在监督学习中，它预测权重衰减机制；在强化学习中，它在 PPO 演员-评论家训练的早期区分学习率机制；在在线控制中，它可以驱动逐层权重衰减自适应。结合近期关于激活模式趋于稳定的时间早于参数的证据，这些结果表明了一个更广泛的研究方向：一种以激活为中心的训练动力学理论。OUI 正成为通向这一理论的经验立足点。
引用
@article{arxiv.2605.11570,
title = {OUI as a Structural Observable: Towards an Activation-Centric View of Neural Network Training},
author = {Alberto Fernández-Hernández and Jose I. Mestre and Cristian Pérez-Corral and Manuel F. Dolz and Jose Duato and Enrique S. Quintana-Ortí},
journal= {arXiv preprint arXiv:2605.11570},
year = {2026}
}