ELFS：基于代理训练动态的无标签核心集选择
计算机视觉与模式识别
2025-02-25 v2 人工智能
摘要
高质量的人工标注数据对于现代深度学习流程至关重要，但人工标注过程既昂贵又耗时。在有限的人工标注预算下，选择信息丰富且具有代表性的数据子集进行标注可以显著减少人工标注工作量。性能优异的最先进（SOTA）核心集选择方法需要整个数据集的地面真值标签，无法减少人工标注负担。同时，SOTA无标签核心集选择方法由于基于几何的困难度评分较差而性能不佳。在本文中，我们介绍了ELFS（高效无标签核心集选择），一种新颖的无标签核心集选择方法。ELFS通过解决两个挑战显著改进了无标签核心集选择：1）ELFS利用深度聚类来估计基于训练动态的数据困难度评分，无需地面真值标签；2）伪标签在数据困难度评分中引入了分布偏移，我们提出了一种简单但有效的双端剪枝方法来减轻计算分数上的偏差。我们在四个视觉基准上评估了ELFS，结果表明，在相同的视觉编码器下，ELFS始终优于SOTA无标签基线。例如，当使用SwAV作为编码器时，ELFS在ImageNet-1K上的准确率比D2高出10.2%。我们在GitHub上公开了我们的代码。
引用
@article{arxiv.2406.04273,
title = {ELFS: Label-Free Coreset Selection with Proxy Training Dynamics},
author = {Haizhong Zheng and Elisa Tsai and Yifu Lu and Jiachen Sun and Brian R. Bartoldson and Bhavya Kailkhura and Atul Prakash},
journal= {arXiv preprint arXiv:2406.04273},
year = {2025}
}
备注
Accepted to ICLR 2025