表征神经网络在布尔数据上的归纳偏置
机器学习
2025-06-02 v1 机器学习
摘要
深度神经网络以其在多样任务上出色的泛化能力而闻名，即使在严重过参数化的情况下也是如此。现有工作仅提供了部分解释（例如，基于 NTK 的任务-模型对齐解释忽略了特征学习）。在此，我们提供了一个端到端、解析上易于处理的案例研究，将网络的归纳先验、其包含特征学习的训练动态以及最终的泛化能力联系起来。具体而言，我们通过在布尔函数上进行训练，利用深度为 2 的离散全连接网络与析取范式（DNF）公式之间的一一对应关系。在蒙特卡洛学习算法下，我们的模型展现出可预测的训练动态以及可解释特征的出现。这一框架使我们能够详细追踪归纳偏置与特征形成如何驱动泛化。
引用
@article{arxiv.2505.24060,
title = {Characterising the Inductive Biases of Neural Networks on Boolean Data},
author = {Chris Mingard and Lukas Seier and Niclas Göring and Andrei-Vlad Badelita and Charles London and Ard Louis},
journal= {arXiv preprint arXiv:2505.24060},
year = {2025}
}