通过消失理想逼近神经网络中的潜在流形
机器学习
2025-06-09 v2
摘要
深度神经网络通过学习强大的潜在表征重新塑造了现代机器学习，这些表征常常与流形假设相吻合：高维数据位于低维流形上。在本文中，我们通过表明消失理想如何表征深度网络的潜在流形，建立了流形学习与计算代数之间的联系。为此，我们提出了一种新的神经网络架构，该架构 (i) 在中间层处截断预训练网络， (ii) 通过消失理想的多项式生成器逼近每个类的流形， (iii) 将结果潜在空间转换为通过单个多项式层实现的线性可分特征。所得模型相较于预训练基线具有显著更少的层数，同时保持可比的准确率，实现更高的吞吐量，并使用更少的参数。此外，基于谱复杂度分析，我们推导了更为尖锐的泛化理论保证，表明本方法可原则上提供比标准深度网络更紧致的界限。数值实验确认了所提方法的有效性与效率。
引用
@article{arxiv.2502.15051,
title = {Approximating Latent Manifolds in Neural Networks via Vanishing Ideals},
author = {Nico Pelleriti and Max Zimmer and Elias Wirth and Sebastian Pokutta},
journal= {arXiv preprint arXiv:2502.15051},
year = {2025}
}
备注
ICML25 camera-ready, 28 pages (9 main body, rest appendix and references), 12 figures, 3 tables, 3 algorithms