路径条件训练：一种对 ReLU 神经网络进行原理性重缩放的方法
机器学习
2026-02-24 v1 机器学习
最优化与控制
摘要
尽管近期出现了算法上的进展，但我们仍缺乏对 ReLU 神经网络参数中众所周知的重缩放对称性进行原理性利用的办法。虽然两个经过恰当重缩放的权重实现相同的函数，但训练动力学可能截然不同。为提供一种全新视角来利用这一现象，我们基于最近的路径提升框架，该框架为 ReLU 网络提供了紧凑的分解。我们引入一种几何学意义上的准则来对神经网络参数进行重缩放，该重缩放最小化导致一种条件策略，将路径提升空间中的一个核与所选参考对齐。我们推导了一个高效算法来执行此对齐。在随机网络初始化的上下文中，我们分析了架构和初始化尺度如何联合影响所提议方法的输出。数值实验说明了其加速训练的潜力。
引用
@article{arxiv.2602.19799,
title = {Path-conditioned training: a principled way to rescale ReLU neural networks},
author = {Arthur Lebeurrier and Titouan Vayer and Rémi Gribonval},
journal= {arXiv preprint arXiv:2602.19799},
year = {2026}
}