几何视角下随机学习中隐式偏置的理解与逆向设计
机器学习
2026-04-07 v2 机器学习
摘要
机器学习的一个关键挑战是解释学习动力学如何在实现相同损失值的多个解中进行选择——即称为隐式偏置的现象，这在参数化模型中常见。控制这种偏置可直接作用于已学习的表征，而这些表征是现代人工智能系统中可解释性、鲁棒性和推理能力的核心。然而，尽管其重要性已广为人知，现有解释大多为非正式且缺乏统一机制。我们发展了一种理论和构造性框架，其中隐式偏置源于梯度噪声与损失函数连续对称性之间的相互作用所引起的几何校正。我们计算了在多种体系结构下的诱导偏置，预测了新行为并解释了既有现象。该方法还支持逆向设计：通过工程化保守参数化，可能塑造偏置，稀疏性和谱稀疏性作为典型实例浮现。数值实验支持该理论并在受控环境中验证了逆向设计框架。
引用
@article{arxiv.2601.06597,
title = {Understanding and inverse design of implicit bias in stochastic learning: a geometric perspective},
author = {Nicola Aladrah and Emanuele Ballarin and Matteo Biagetti and Alessio Ansuini and Alberto d'Onofrio and Fabio Anselmi},
journal= {arXiv preprint arXiv:2601.06597},
year = {2026}
}
备注
v2