流形假设下学习神经网络的困难性
机器学习
2024-06-04 v1 微分几何
机器学习
摘要
流形假设假定高维数据位于或接近低维流形。尽管编码几何结构的效用已被实验证明，但其对神经网络可学习性影响的严格分析在很大程度上缺失。最近的一些结果已经建立了在独立同分布高斯或均匀布尔数据分布下学习前馈和等变神经网络的困难性结果。在本文中，我们研究了流形假设下学习的困难性。我们询问：对流形的曲率和正则性的最小假设（如果有的话）使得学习问题可高效学习？我们证明，在具有有界曲率的输入流形下学习是困难的，通过将布尔数据输入的SQ和密码学设置中的困难性证明扩展到几何设置。另一方面，我们表明，对数据流形体积的额外假设缓解了这些基本限制，并通过简单的插值论证保证了可学习性。该机制的一个显著例子是可以通过流形学习可靠重建的流形。展望未来，我们评论并经验性地探索了流形的中间机制，这些机制具有现实世界数据中常见的异质特征。
引用
@article{arxiv.2406.01461,
title = {Hardness of Learning Neural Networks under the Manifold Hypothesis},
author = {Bobak T. Kiani and Jason Wang and Melanie Weber},
journal= {arXiv preprint arXiv:2406.01461},
year = {2024}
}