通过谱分析与联合批量选择优化数据聚焦（SALN）
机器学习
2024-12-24 v1 人工智能
摘要
在深度学习模型中，长时间的训练和大规模数据集给效率与可扩展性带来了重大挑战。有效的数据聚焦和样本选择对于优化深度神经网络的训练过程至关重要。本文引入 SALN 方法，通过在每个 batch 内而非整个数据集中优先选取样本来实现这一目标。通过采用联合选择的 batch，SALN 相较于独立的 batch 选择在训练效率上有所提升。该方法应用基于谱分析的启发式方法来识别每个 batch 中最具信息性的数据点，从而提升训练速度与准确率。与传统的 batch 优先级或标准训练程序相比，SALN 算法显著缩短训练时间并提升准确率。相较于由 DeepMind 开发的 Google JEST 方法，SALN 在性能和训练时间上都表现更佳。
引用
@article{arxiv.2412.17069,
title = {Optimizing Data Curation through Spectral Analysis and Joint Batch Selection (SALN)},
author = {Mohammadreza Sharifi},
journal= {arXiv preprint arXiv:2412.17069},
year = {2024}
}
备注
This paper was presented at Machine Learning Knowledge Discovery (MLKD2024) conference at Amirkabir University of Technology