基于路径度量的 ReLU 网络参数化尺度不变 Lipschitz 界
机器学习
2025-06-16 v3 机器学习
摘要
关于权重扰动鲁棒性的保证是支撑泛化性、修剪和量化的基石。现有保证仅适用于参数空间中的 Lipschitz 界，局限于纯前馈 MLP 结构，无法抵御 ReLU 网络中普遍存在的神经元级尺度对称性。我们证明了一个通过权重的 -路径度量表达的新型 Lipschitz 不等式。该界具有 (i) 构造上尺度不变性和 (ii) 适用于任意 ReLU-DAG 架构，包括任意组合的卷积、跳跃连接、池化及冻结（推理时）批归一化——因此涵盖 ResNet、U-Net、VGG 结构 CNN 等。通过尊重网络的自然对称性，新界严格提升了先前的参数空间界，且可在两次前向传播中计算。为展示其实用性，我们从中导出一种对称感知的修剪准则，并通过在 ImageNet 上训练的 ResNet-18 的实验表明，其修剪性能与经典幅度修剪相当，同时对任意神经元级尺度完全免疫。
引用
@article{arxiv.2405.15006,
title = {A Rescaling-Invariant Lipschitz Bound Based on Path-Metrics for Modern ReLU Network Parameterizations},
author = {Antoine Gonon and Nicolas Brisebarre and Elisa Riccietti and Rémi Gribonval},
journal= {arXiv preprint arXiv:2405.15006},
year = {2025}
}