少即是多:利用核心集选择加速并增强数据重加权
机器学习
2024-06-03 v3 机器学习
摘要
随着机器学习任务持续演进,收集更大数据集并训练日益庞大模型的趋势愈发明显。这虽带来了准确性的提升,但也将计算成本推高至不可持续的水平。针对这一问题,我们的工作旨在计算效率与模型准确性之间寻求微妙平衡,这是该领域一个长期存在的挑战。我们引入一种新颖方法,采用核心子集选择进行重加权,有效优化计算时间与模型性能。通过聚焦于策略性选出的核心集,我们的方法提供了稳健的表示,因其高效最小化了异常值的影响。重新校准的权重随后被映射回整个数据集并传播开来。我们的实验结果证实了该方法的有效性,凸显其作为可扩展且精确的模型训练解决方案的潜力。
引用
@article{arxiv.2403.12166,
title = {The Power of Few: Accelerating and Enhancing Data Reweighting with Coreset Selection},
author = {Mohammad Jafari and Yimeng Zhang and Yihua Zhang and Sijia Liu},
journal= {arXiv preprint arXiv:2403.12166},
year = {2024}
}
备注
Accepted to ICASSP 2024