神经网络特征学习的理论分析：从输入中涌现及其相对于固定特征的优势
机器学习
2022-06-06 v1
摘要
神经网络的一个重要特征是它们能够学习输入数据的表示，提取用于预测的有效特征，这被认为是其优越实证性能的关键因素。为了更好地理解神经网络中特征学习的来源与益处，我们考虑受实际数据启发的的学习问题，其中标签由一组类别相关模式决定，输入由这些模式与一些背景模式共同生成。我们证明通过梯度下降训练的神经网络能在这些问题上成功。该成功依赖于有效特征的涌现与提升，这些特征通过在指数级多候选中利用数据（特别是输入分布的结构）被高效学习。相比之下，任何基于多项式规模数据无关特征的线性模型都无法学习到同等好的误差。此外，若移除特定的输入结构，则统计查询模型中的任何多项式算法甚至无法弱学习。这些结果提供了理论证据，表明神经网络中的特征学习强烈依赖于输入结构并带来优越性能。我们在合成与真实数据上的初步实验结果也提供了正向支持。
引用
@article{arxiv.2206.01717,
title = {A Theoretical Analysis on Feature Learning in Neural Networks: Emergence from Inputs and Advantage over Fixed Features},
author = {Zhenmei Shi and Junyi Wei and Yingyu Liang},
journal= {arXiv preprint arXiv:2206.01717},
year = {2022}
}
备注
81 pages. ICLR2022 Poster