软诱导函数简约性：对神经网络泛化、鲁棒性与蒸馏的影响
机器学习
2026-01-16 v2 高能物理 - 实验
摘要
从高维输入数据中学习鲁棒且可泛化的抽象是机器学习及其于高能物理(HEP)应用的核心挑战。函数复杂度较低的解决方案已知会产生更有效的抽象，并对输入扰动更具鲁棒性。在复杂的假设空间中，归纳偏置通过在优化过程中塑造损失几何结构，使此类解决方案可学习。在一次HEP分类任务中，我们展示，一种尊重对称性的软归纳偏置在损失中创建近似退化，我们将其识别为伪Goldstone模式。我们使用源自第一性原理的Hessian分析以及压缩性度量来量化函数复杂度。我们的结果表明，复杂度较低的解决方案产生的抽象更具可泛化性、鲁棒性，并且更高效地可蒸馏化。
引用
@article{arxiv.2601.06584,
title = {Softly Induced Functional Simplicity: Implications for Neural Network Generalisation, Robustness, and Distillation},
author = {Maciej Glowacki},
journal= {arXiv preprint arXiv:2601.06584},
year = {2026}
}