验证图像数据的流形并集假设

深度学习在学习高维数据的低维表示方面取得了巨大成功。如果感兴趣的数据中没有隐藏的低维结构，这种成功是不可能的；流形假设假定了这种结构的存在，该假设指出数据位于一个未知的低内在维度流形上。在本文中，我们认为该假设未能正确捕捉图像数据中通常存在的低维结构。假设数据位于单个流形上意味着内在维度在整个数据空间中是相同的，并且不允许该空间的子区域具有不同数量的变化因子。为了解决这个缺陷，我们考虑了流形并集假设，该假设指出数据位于具有不同内在维度的流形的不相交并集上。我们在常用的图像数据集上实证验证了这一假设，发现观测到的数据确实位于一个不连通集上，并且内在维度不是恒定的。我们还提供了关于流形并假设在深度学习中（包括监督学习和无监督学习）影响的见解，表明设计具有这种结构归纳偏置的模型可以提高分类和生成建模任务的性能。我们的代码可在https://github.com/layer6ai-labs/UoMH获取。