神经网络的广义奇异值理论
机器学习
2026-05-11 v1 人工智能
摘要
基于 Brown 等人 [2025] 的抽象广义奇异值分解 (GSVD) 理论，我们证明了大多数现代神经网络架构都允许一种广义 SVD 表示，在这种表示中，它们在最后的线性层之前是左可逆的，且输入输出行为保持不变。此外，输入输出行为中左可逆的非线性部分可以被设为\emph{保范的}，这意味着左可逆“嵌入”（此表示中最终线性层之前的激活值）中的扰动与输入的变化成比例对应，即特征空间中的距离可以直接校准到输入空间中的距离。我们提供了一种数据驱动的算法，用于从训练好的模型中估计这种表示，并提出了一种自然促进该分解的模型架构。然后，我们提供了一个概念验证，表明学习到的表示可用于识别对模型输入的对抗性扰动，并发展了将其未来应用于模型偏差和可逆性等领域所需的理论。
引用
@article{arxiv.2605.06938,
title = {A Generalized Singular Value Theory for Neural Networks},
author = {Brian Charles Brown and Robert Bridges and David Grimsman and Mauricio Munoz and Sean Warnick},
journal= {arXiv preprint arXiv:2605.06938},
year = {2026}
}