中文

基于几何中位数匹配的稳健数据剪枝

机器学习 2025-01-20 v2 人工智能

摘要

野外的大规模数据集合不可避免地存在噪声。因此, developing 能够在存在损坏情况下仍保持稳健的数据剪枝策略在实际中至关重要。本文我们提出几何中位数(\gm\gm)匹配——一种基于 herd 方法的贪心算法,产生一个 kk 子集,使得该子集的均值近似于(可能受噪声影响的)数据集的几何中位数。理论上,我们表明 \gm\gm 匹配在 \gO(1/k)\gO(1/k) 规模上优于均匀抽样的 \gO(1/k)\gO(1/\sqrt{k}) 规模;同时在面对任意损坏的情况下实现 {\bf 最优 breakdown point} {\bf 1/2}。广泛实验表明,\gm\gm 匹配在多个流行深度学习基准上 consistently 优于先前的最先进方法;在高损坏率和激进剪枝率下,提升尤为显著;使 \gm\gm 匹配成为稳健数据剪枝未来研究的强基准。

关键词

引用

@article{arxiv.2406.17188,
  title  = {Geometric Median (GM) Matching for Robust Data Pruning},
  author = {Anish Acharya and Inderjit S Dhillon and Sujay Sanghavi},
  journal= {arXiv preprint arXiv:2406.17188},
  year   = {2025}
}