基于损失的优先级排序何时失效？
机器学习
2021-07-19 v1
摘要
并非所有样本生而平等，但标准的深度神经网络训练协议对每个训练点一视同仁。每个样本在网络中前向与反向传播的次数相同，与其对学习协议的贡献无关。近期工作提出了通过偏离这种均匀处理来加速训练的方法。流行的方法包括对那些对损失贡献更大的样本提高权重，其直觉是低损失样本已被模型学会，因此其对训练过程的边际价值应更低。该观点假设用高损失样本更新模型将有益于模型。然而，对于含噪的真实世界数据，这可能不成立。在本文中，我们理论化并随后实证表明，基于损失的加速方法在含噪与损坏数据的场景中会退化。我们的工作表明，样本难度的度量需要正确地将噪声与其他类型的困难样本区分开来。
引用
@article{arxiv.2107.07741,
title = {When does loss-based prioritization fail?},
author = {Niel Teng Hu and Xinyu Hu and Rosanne Liu and Sara Hooker and Jason Yosinski},
journal= {arXiv preprint arXiv:2107.07741},
year = {2021}
}