超越损失值：基于损失轨迹对齐的鲁棒动态剪枝
计算机视觉与模式识别
2026-04-09 v1 机器学习
摘要
现有的动态数据剪枝方法在噪声标签设置下往往难以实现，因为它们通常依赖单样本损失作为排序准则。这可能导致保留噪声样本由于其高损失值，从而引起显著性能下降。为此，我们提出了 AlignPrune，一个针对噪声鲁棒的模块，旨在增强动态剪枝在噪声标签下的可靠性。具体而言，AlignPrune 引入了动态对齐分数（DAS），这是一种基于损失轨迹的准则，使我们能够更准确地识别噪声样本，从而提高剪枝效果。作为一个简单而有效的即插即用模块，AlignPrune 可以无缝集成到最先进的动态剪枝框架中，无需修改模型架构或训练管道。广泛的实验在五个广泛使用的数据集上进行，涵盖各种噪声类型和剪枝比例，证明了 AlignPrune 的有效性，通过提高最先进基线方法的准确率最高可达 6.3%。我们的结果为在噪声数据下的剪枝提供了通用解决方案，鼓励进一步探索在真实世界情景中的学习。代码可在 https://github.com/leonqin430/AlignPrune 获取。
引用
@article{arxiv.2604.07306,
title = {Beyond Loss Values: Robust Dynamic Pruning via Loss Trajectory Alignment},
author = {Huaiyuan Qin and Muli Yang and Gabriel James Goenawan and Kai Wang and Zheng Wang and Peng Hu and Xi Peng and Hongyuan Zhu},
journal= {arXiv preprint arXiv:2604.07306},
year = {2026}
}
备注
Published in CVPR 2026 Findings