以模型为中心的資料流形：模型眼中的数据
机器学习
2021-04-28 v1 最优化与控制
机器学习
摘要
我们发现深度 ReLU 神经网络分类器能够在数据上看到低维黎曼流形结构。该结构通过局部数据矩阵（Fisher 信息矩阵的一种变体）得来，其中模型参数的角色由数据变量承担。我们得到了数据域的一个叶状结构，并表明模型所训练的数据集位于一个叶（数据叶）上，其维数由分类标签的数量所界定。我们用 MNIST 数据集的一些实验验证了我们的结果：数据叶上的路径连接有效图像，而其他叶覆盖噪声图像。
引用
@article{arxiv.2104.13289,
title = {Model-centric Data Manifold: the Data Through the Eyes of the Model},
author = {Luca Grementieri and Rita Fioresi},
journal= {arXiv preprint arXiv:2104.13289},
year = {2021}
}