使用引导谱数据选择实现深度网络的高效训练：迈向按需学习的一步
计算机视觉与模式识别
2025-07-08 v1 机器学习
摘要
有效的数据筛选对于优化神经网络训练至关重要。在本文中，我们提出了引导谱调谐数据选择（GSTDS）算法，该算法使用现成的预训练参考模型动态调整用于训练的数据点子集。基于预设的过滤比率，GSTDS有效地减少了每批处理的数据点数量。所提出的方法确保了在训练中选择最具信息量的数据点，同时避免冗余或收益较低的计算。每批中保留的数据点基于谱分析进行。基于Fiedler向量的评分机制移除批次中被过滤的部分，减轻了学习的资源需求。所提出的数据选择方法不仅简化了训练过程，还促进了更好的泛化能力和准确性。在包括CIFAR-10、Oxford-IIIT Pet和Oxford-Flowers在内的标准图像分类基准上的大量实验表明，GSTDS在几个关键因素上优于标准训练场景和最新的先进数据筛选方法JEST。结果表明，GSTDS在不影响性能的情况下，实现了计算需求的大幅降低，最高可达四倍。与其他方法相比，GSTDS在有限计算资源使用下，在准确性方面表现出显著增长。这些有希望的结果强调了基于谱的数据选择作为资源高效深度学习的可扩展解决方案的潜力，并激励了对自适应数据筛选策略的进一步探索。您可以在 https://github.com/rezasharifi82/GSTDS 找到代码。
引用
@article{arxiv.2507.04269,
title = {Efficient Training of Deep Networks using Guided Spectral Data Selection: A Step Toward Learning What You Need},
author = {Mohammadreza Sharifi and Ahad Harati},
journal= {arXiv preprint arXiv:2507.04269},
year = {2025}
}
备注
19 pages, 10 figures, UnderReview in the Data Mining and Knowledge Discovery journal of Springer, Submitted Apr 2025