PENEX：受AdaBoost启发的神经网络正则化
机器学习
2026-05-13 v4
摘要
AdaBoost顺序拟合所谓的弱学习器以最小化指数损失，该损失对误分类数据点的惩罚比其他损失函数（如交叉熵）更严重。矛盾的是，随着弱学习器数量的增加，AdaBoost在实践中泛化良好。在本工作中，我们引入了惩罚指数损失（PENEX），一种新的多类指数损失 formulation，在理论上具有基础，且与现有 formulation 不同，可通过一阶方法进行优化，使其成为训练神经网络的实用目标。我们证明PENEX能有效增大数据点的间隔，这可以转化为泛化界。在实证上，在计算机视觉和语言任务中，PENEX在低数据场景下改善了神经网络泛化，在可比计算成本下匹配并在某些设置中超越了 established 正则化方法。我们的结果展示了指数损失在AdaBoost应用之外的潜力。
引用
@article{arxiv.2510.02107,
title = {PENEX: AdaBoost-Inspired Neural Network Regularization},
author = {Klaus-Rudolf Kladny and Bernhard Schölkopf and Michael Muehlebach},
journal= {arXiv preprint arXiv:2510.02107},
year = {2026}
}