IMAE：面向噪声鲁棒学习的改进平均绝对误差——平均绝对误差并非平等对待样本，梯度幅值的方差至关重要
机器学习
2023-05-02 v9 计算机视觉与模式识别
机器学习
摘要
本文从经验损失函数中内置的样本加权角度（即相对于logits的梯度幅值，这是一个迄今尚未被深入研究的视角）研究针对异常训练数据的鲁棒深度学习。由此，我们有两个关键发现：(1) 平均绝对误差(MAE)并非平等对待样本。我们对MAE提出了新的观察和深刻分析，MAE在理论上被证明是噪声鲁棒的。首先，我们揭示了其在实践中的欠拟合问题。其次，我们分析得出MAE的噪声鲁棒性源于对不确定样本的强调，而非如先前工作所声称的平等对待训练样本。(2) 梯度幅值的方差至关重要。我们提出了一种有效且简单的解决方案，在保持MAE噪声鲁棒性的同时增强其拟合能力。在不改变MAE整体加权方案（即哪些样本获得更高权重）的前提下，我们仅非线性地改变其加权方差，从而调整两个样本之间的影响比例。我们的解决方案称为改进MAE(IMAE)。我们通过大量实验证明了IMAE的有效性：包括干净标签下的图像分类、合成标签噪声以及真实世界未知噪声。
引用
@article{arxiv.1903.12141,
title = {IMAE for Noise-Robust Learning: Mean Absolute Error Does Not Treat Examples Equally and Gradient Magnitude's Variance Matters},
author = {Xinshao Wang and Yang Hua and Elyor Kodirov and David A. Clifton and Neil M. Robertson},
journal= {arXiv preprint arXiv:1903.12141},
year = {2023}
}
备注
ICLR 2023, RTML Workshop paper. For the source code, based on the requests for academic research and kindness to cite our work, we will release and maintain it in https://github.com/XinshaoAmosWang/DeepCriticalLearning