Weak-SIGReg：用于稳定深度学习的协方差正则化
机器学习
2026-03-09 v1
摘要
现代神经网络优化高度依赖诸如批量归一化和残差连接等架构先验，以稳定训练动力学。缺乏这些技术，或在数据稀缺且采用激进数据增强的情况下，低偏差架构如视觉转换器（ViT）常常 suffer from optimization collapse。本工作采用Sketched Isotropic Gaussian Regularization（SIGReg），该方法最近在LeJEPA自监督框架中引入，并重新定位为监督学习的通用优化稳定器。虽然原始公式针对完整特征函数，但推导出计算效率较高的变体Weak-SIGReg，其针对协方差矩阵进行随机草图化。 Inspired by interacting particle systems，representation collapse被视为随机漂移；SIGReg通过将表示密度约束向各向同性高斯分布来缓解这种漂移。经验上，SIGReg在无需架构技巧的情况下，将ViT在CIFAR-100上的训练准确率从倒塌的20.73%恢复到72.02%，并显著改善了使用纯SGD训练的深层普通MLP的收敛。代码已公开于\href{https://github.com/kreasof-ai/sigreg}{github.com/kreasof-ai/sigreg}。
引用
@article{arxiv.2603.05924,
title = {Weak-SIGReg: Covariance Regularization for Stable Deep Learning},
author = {Habibullah Akbar},
journal= {arXiv preprint arXiv:2603.05924},
year = {2026}
}
备注
Accepted at GRaM workshop (ICLR 2026). Code & supplementary: https://github.com/kreasof-ai/sigreg