控制方差如何改善稀疏激活 DNN 和 CNN 的训练稳定性
机器学习
2026-02-06 v1 信息论
math.IT
摘要
深度网络的中间层可表现为高斯过程，特别是Edge-of-Chaos（EoC）初始化策略规定了高斯过程的限制协方差矩阵。本文表明，较少利用的所选方差在具有稀疏激活函数（如移位并裁剪的 ReLU）的深度网络训练中至关重要。具体而言，导致更大固定高斯过程方差的初始化方式，允许在 DNN 和 CNN 中实现更高的表达能力，激活稀疏度可达90%，并且通常会提高训练过程的稳定性。实现在如此高的稀疏度下仍可获得接近或完全的准确率，表明一种有前景的机制，可用于减少涉及全连接层的机器学习模型的能源消耗。
引用
@article{arxiv.2602.05779,
title = {How Controlling the Variance can Improve Training Stability of Sparsely Activated DNNs and CNNs},
author = {Emily Dent and Jared Tanner},
journal= {arXiv preprint arXiv:2602.05779},
year = {2026}
}