用于鲁棒神经网络优化的乘性重加权方法
机器学习
2025-11-12 v5 密码学与安全
摘要
神经网络因其强大的性能而被广泛应用。然而，在训练时存在噪声标签的情况下，其性能会下降。受专家建议学习设置的启发——其中乘性权重（MW）更新最近被证明对专家建议中的中等数据损坏具有鲁棒性——我们提出在神经网络优化过程中使用 MW 对样本进行重加权。我们从理论上确立了该方法与梯度下降结合使用时的收敛性，并证明了其在单维（1d）情形下的优势。随后，我们通过在 CIFAR-10、CIFAR-100 和 Clothing1M 上展示 MW 在存在标签噪声时提高了神经网络的准确率，对一般情形下的发现进行了实证验证。我们还展示了我们的方法对对抗鲁棒性的影响。
引用
@article{arxiv.2102.12192,
title = {Multiplicative Reweighting for Robust Neural Network Optimization},
author = {Noga Bar and Tomer Koren and Raja Giryes},
journal= {arXiv preprint arXiv:2102.12192},
year = {2025}
}
备注
Our code is publicly available in https://github.com/NogaBar/mr_robust_optim