同构神经网络中镜像流的隐式偏差：稀疏与稠密特征学习
机器学习
2026-05-20 v1
摘要
我们研究在带有同构激活函数的深度神经网络中，镜像流所达到的最大边际解。我们从凸对偶性出发，推导了镜像流的新型平衡方程，使我们能够表征支配所诱导边际的 horizon 函数。我们进一步建立了最大边际特征 characterization，伴随收敛率和范数增长估计。最后，我们通过在合成数据集和标准视觉任务上的实验支持我们的理论。具体而言，我们表明：(1) 不同的非同构镜像映射可诱导相同的 maximum-margin 解；(2) 收敛可非常缓慢，包括指数缓慢的情形；(3) 虽然所有考虑中的镜像映射都表现出特征学习，但它们可产生显著不同的表示，从稀疏到稠密神经元激活。这些结果为同构神经网络中稀疏与稠密特征学习提供了统一视角，突显了镜像映射如何塑造优化动力学以及所学习分类器的几何。
引用
@article{arxiv.2605.19458,
title = {Implicit Bias of Mirror Flow in Homogeneous Neural Networks: Sparse and Dense Feature Learning},
author = {Tom Jacobs and Guido Montufar},
journal= {arXiv preprint arXiv:2605.19458},
year = {2026}
}
备注
36 pages, 14 figures