分类问题中数据结构与损失函数之间的相互作用
机器学习
2021-10-13 v2 无序系统与神经网络
机器学习
摘要
现代机器学习的核心谜题之一在于高度过参数化模型良好的泛化能力。尽管典型数据集的低维结构是该行为的关键，大多数关于过参数化的理论研究聚焦于各向同性输入。在本工作中，我们考虑一个解析上可处理的结构化数据模型，其中输入协方差由独立块构建，使我们能够调节低维结构的显著性及其相对于目标函数的对齐程度。利用统计物理方法，我们推导了用于分类此类数据的随机特征模型所达到的训练与测试误差的精确渐近表达式，该表达式对任意凸损失函数均成立。我们详细研究了数据结构如何影响双下降曲线，并表明在过参数化 regime 下，其对 logistic 损失的影响大于均方损失：任务越容易，以 logistic 损失占优的性能差距越大。我们的见解在 MNIST 和 CIFAR10 上的数值实验得到了证实。
引用
@article{arxiv.2103.05524,
title = {On the interplay between data structure and loss function in classification problems},
author = {Stéphane d'Ascoli and Marylou Gabrié and Levent Sagun and Giulio Biroli},
journal= {arXiv preprint arXiv:2103.05524},
year = {2021}
}