GRAFT：梯度感知快速 MaxVol 技术用于动态数据采样
机器学习
2025-08-25 v2 人工智能
数值分析
数值分析
摘要
在大型数据集上训练现代神经网络具有高计算和环境成本。我们提出 GRAFT，这是一种可扩展的训练中子集选择方法，该方法 (i) 为每个 batch 提取低秩特征表示， (ii) 对选取的小型、多样化子集应用快速 MaxVol 抽样，以覆盖 batch 的主导子空间， (iii) 使用梯度逼近准则动态调整子集大小。通过在低秩子空间中运行并在精心挑选的示例上训练，而非完整的 batch，GRAFT 在保持训练轨迹的同时，减少了墙钟时间、能源消耗和 排放。在多个基准测试中，GRAFT 在准确率和效率方面均匹配或超越了最近的选择基线，实现了准确率、效率和排放之间的有利权衡。
引用
@article{arxiv.2508.13653,
title = {GRAFT: Gradient-Aware Fast MaxVol Technique for Dynamic Data Sampling},
author = {Ashish Jha and Anh huy Phan and Razan Dibo and Valentin Leplat},
journal= {arXiv preprint arXiv:2508.13653},
year = {2025}
}