面向现代网络的路径范数工具包：后果、前景与挑战
机器学习
2024-12-05 v5 机器学习
统计理论
统计理论
摘要
本工作引入了首个围绕路径范数的工具包，其完全涵盖带偏置、跳跃连接及任何基于顺序统计量提取的操作（最大池化、GroupSort 等）的通用 DAG ReLU 网络。该工具包尤其使我们能为现代神经网络建立泛化界，这些界不仅是最广泛适用的基于路径范数的界，还恢复或超越了此类已知最紧的界。这些扩展路径范数进一步具备路径范数的一贯优点：易于计算、在网络对称下不变，以及相比另一最常用的复杂度度量——算子范数之积——在分层全连接网络上改进了紧度。该工具包的通用性与易实现性使我们能通过数值评估 ImageNet 上 ResNets 的最紧已知界，来检验基于路径范数的泛化界的具体前景。
引用
@article{arxiv.2310.01225,
title = {A path-norm toolkit for modern networks: consequences, promises and challenges},
author = {Antoine Gonon and Nicolas Brisebarre and Elisa Riccietti and Rémi Gribonval},
journal= {arXiv preprint arXiv:2310.01225},
year = {2024}
}
备注
Erratum: in the published version there was a typo in the definition of the activation matrix in Definition A.3. This is fixed with this new version