基于几何中位数匹配的稳健 k 子集选择
机器学习
2025-04-04 v2
摘要
数据剪枝——从大型数据集中选择小且代表性子集的组合任务——对于缓解训练数据驱动的现代深度学习模型在大规模数据上的巨大计算成本至关重要。由于大规模数据集合不可避免地包含噪声，因此开发在噪声存在下仍保持稳健性的数据剪枝策略在实际中至关重要。然而，现有的数据剪枝方法在噪声率较高时往往难以胜任，因为它们依赖经验均值估计，而该估计对异常值极其敏感。为此，我们提出了几何中位数匹配（Geometric Median, GM）方法，这是一种新的 k 子集选择策略，利用几何中位数——一种在分量达到 1/2 时具有最佳分解点（breakdown point）的稳健估计器——以增强对噪声数据的抗性。我们的 метод 通过迭代选择 k 子集，使得该子集的均值近似于（可能存在噪声的）数据集的几何中位数，从而确保即使在任意噪声下也能保持稳健。我们提供了理论保证，表明 GM 匹配在任意噪声下拥有改进的 O(1/k) 收敛速度——相较于随机抽样实现了二次改进。广泛的实验在图像分类和图像生成任务上表明，GM 匹配在高噪声率和高剪枝率条件下始终优于现有剪枝方法，使其成为稳健数据剪枝的强基准。
引用
@article{arxiv.2504.00564,
title = {Geometric Median Matching for Robust k-Subset Selection from Noisy Data},
author = {Anish Acharya and Sujay Sanghavi and Alexandros G. Dimakis and Inderjit S Dhillon},
journal= {arXiv preprint arXiv:2504.00564},
year = {2025}
}