深度学习应用中用于 GSD 与反向传播的单位一致 (UC) 伴随
机器学习
2026-01-19 v1
摘要
由线性映射与正齐次非线性（如 ReLU）构成的深度神经网络具有一种基本的规范对称性：网络函数对逐节点对角缩放保持不变。然而，标准梯度下降对该对称性并非等变的，导致优化轨迹严重依赖于任意参数化。先前工作已提出针对正齐次网络的缩放不变优化方案（如基于路径或路径空间的更新）。我们的工作是互补的：我们在后向伴随/优化几何层面提出不变性要求，提供了一种简单的、算子层面的方案，可统一应用于网络组件和优化器状态。通过将欧氏转置替换为单位一致 (UC) 伴随，我们推导出了 UC 规范一致的最速下降与反向传播。
引用
@article{arxiv.2601.10873,
title = {Unit-Consistent (UC) Adjoint for GSD and Backprop in Deep Learning Applications},
author = {Jeffrey Uhlmann},
journal= {arXiv preprint arXiv:2601.10873},
year = {2026}
}