DRIP：基于 Grad-CAM 的实时数据点优先级——用于设备端训练的 DRop unImportant data Points
机器学习
2025-05-23 v2
摘要
选择模型训练的数据点至关重要。有效的选择方法可减少标注工作、优化存储有限的嵌入式系统上的设备端训练，并提升模型性能。本文引入一种新型算法，使用 Grad-CAM 对数据点的保留或丢弃作出在线决策。针对嵌入式设备优化，算法计算唯一的 DRIP 分数来量化每个数据点的重要性。这使我们能够动态决定数据点应被存储以供潜在重训练，还是被丢弃而不影响模型性能。在四个基准数据集上的实验评估表明，我们的方法能够在实现最高 39% 存储节省的同时，匹配甚至超越在完整数据集上训练的模型准确率。鉴于本文是首个无需访问整个数据集即可对数据点保留作出在线决策的算法，我们深知这一点。
引用
@article{arxiv.2504.08364,
title = {DRIP: DRop unImportant data Points -- Enhancing Machine Learning Efficiency with Grad-CAM-Based Real-Time Data Prioritization for On-Device Training},
author = {Marcus Rüb and Daniel Konegen and Patrick Selle and Axel Sikora and Daniel Mueller-Gritschneder},
journal= {arXiv preprint arXiv:2504.08364},
year = {2025}
}