LION-DG：基于深度梯度协议的分层感知初始化用于加速神经网络训练
机器学习
2026-01-06 v1 人工智能
摘要
权重初始化对于神经网络优化至关重要，但现有方法大多针对各层不敏感。我们研究深度监督架构（带辅助分类器）的初始化问题，其中未训练的辅助头部由于梯度干扰会在早期训练中造成不稳定。我们提出LION-DG，一种分层感知初始化方法，对辅助分类器头部进行零初始化，同时对主干网络应用标准He初始化。我们证明，这实现了梯度觉醒：在初始化时，辅助梯度恰好为零，然后随着权重增长自然相继激活——这为没有超参数的隐式热身提供了实现。在CIFAR-10和CIFAR-100上的实验表明：（1）DenseNet-DS：在CIFAR-10上收敛速度提升8.3%，准确率相当；（2）混合方法：将LSUV与LION-DG组合可实现最佳准确率（CIFAR-10为81.92%）；（3）ResNet-DS：在CIFAR-100上实现正向加速（+11.3%），并采用侧接辅助设计。我们识别出特定架构的权衡，并为实践者提供明确的指导方针。LION-DG简单易行，无需任何超参数，且无计算开销。
引用
@article{arxiv.2601.02105,
title = {LION-DG: Layer-Informed Initialization with Deep Gradient Protocols for Accelerated Neural Network Training},
author = {Hyunjun Kim},
journal= {arXiv preprint arXiv:2601.02105},
year = {2026}
}