深度全连接网络与递归学习特征的核机中的特征学习机制
机器学习
2023-05-11 v3 人工智能
机器学习
摘要
近年来，神经网络在许多技术和科学任务上取得了令人印象深刻的成果。然而，这些模型自动选择用于预测的特征或数据模式之机制仍不清楚。识别此类机制是提升神经网络性能与可解释性、并促进这些模型在科学应用中可靠采用的关键。在本文中，我们识别并刻画了深度全连接神经网络学习特征的机制。我们提出深度神经特征猜想（Deep Neural Feature Ansatz），其指出神经特征学习通过实现平均梯度外积来提升与模型输出强相关特征的权重。我们的猜想阐明了多种深度学习现象，包括伪特征与简洁性偏置的出现，以及剪枝网络如何提升性能（即“彩票假说”）。此外，我们工作中识别的机制带来了一种无需反向传播的特征学习方法，适用于任何机器学习模型。为展示该特征学习机制的有效性，我们用它使被称为核机（kernel machines）的经典非特征学习模型能够进行特征学习，并表明由此得到的模型（我们称之为递归特征机，Recursive Feature Machines）在表格数据上达到了最先进的性能。
引用
@article{arxiv.2212.13881,
title = {Mechanism of feature learning in deep fully connected networks and kernel machines that recursively learn features},
author = {Adityanarayanan Radhakrishnan and Daniel Beaglehole and Parthe Pandit and Mikhail Belkin},
journal= {arXiv preprint arXiv:2212.13881},
year = {2023}
}