探索神经模型的潜在空间动力学
机器学习
2026-03-26 v4
摘要
神经网络将高维数据转化为紧凑且结构化的表示，这些表示通常被建模为低维潜在空间的元素。在本文中，我们提出了一种替代解释，将神经模型视为作用于潜在流形上的动力系统。具体而言，我们表明自编码器模型通过迭代应用编码-解码映射，在流形上隐式定义了一个潜在向量场，而无需任何额外训练。我们观察到，标准训练过程引入的归纳偏置会导致该向量场内出现吸引子点。基于这一见解，我们提出利用该向量场作为网络的表示，为分析模型和数据的属性提供了一种新工具。该表示能够：(i) 分析神经模型的泛化与记忆机制，甚至在训练过程中亦可进行；(ii) 从吸引子中提取编码在网络参数中的先验知识，而无需任何输入数据；(iii) 根据样本在向量场中的轨迹识别分布外样本。我们进一步在视觉基础模型上验证了该方法，展示了我们的方法在真实场景中的适用性与有效性。
引用
@article{arxiv.2505.22785,
title = {Navigating the Latent Space Dynamics of Neural Models},
author = {Marco Fumero and Luca Moschella and Emanuele Rodolà and Francesco Locatello},
journal= {arXiv preprint arXiv:2505.22785},
year = {2026}
}