SAGE：面向代表性子集选择的流式一致性驱动梯度草图
机器学习
2025-10-10 v2
摘要
在大数据集上训练现代神经网络计算和能耗都很高。我们提出了 SAGE，一种流式数据子集选择方法，通过维护梯度几何的紧凑型 Frequent Directions (FD) 草图以 内存，优先选择其草图梯度与共识方向对齐的示例。该方法消除了 成对相似性计算和显式 梯度存储，实现简单两遍、GPU友好的管道。利用 FD 的确定性逼近保证，我们分析了一致性评分如何在主草图子空间内保持梯度能量。跨多个基准测试，SAGE 在保持较小保留率预算的同时，相对于全数据训练和最新子集选择基线，保持竟争的准确性，并减少端到端计算和峰值内存。总体而言，SAGE 提供一种实用的常数内存替代方案，可与修剪和模型压缩协同，用于高效训练。
引用
@article{arxiv.2510.02470,
title = {SAGE: Streaming Agreement-Driven Gradient Sketches for Representative Subset Selection},
author = {Ashish Jha and Salman Ahmadi-Asl},
journal= {arXiv preprint arXiv:2510.02470},
year = {2025}
}