一种用于大规模数据集缩减与划分以实现可扩展监督训练的图形启发式方法
机器学习
2019-07-25 v1 分布式、并行与集群计算
机器学习
摘要
提出一种可扩展的图形方法,用于分类任务训练阶段的数据集选择与划分。该启发式方法需要一种聚类算法,以使其计算成本与任务本身成合理比例。此步骤之前,使用近似最近邻方法构建底层分类模式的信息图。所提方法包含两种途径:一种用于缩减给定训练集,另一种用于划分所选/缩减集。该启发式针对大型数据集,因其主要目标是在不损害预测精度的前提下显著减少训练计算运行时间。测试结果表明,与LIBSVM中现有的最优收缩启发式相比,两种途径均显著加速训练任务。此外,这些途径在预测精度上紧密跟随甚至优于后者。还给出了一种基于划分的分布式训练公式的网络设计。与这些途径的串行实现相比,观察到训练运行时间的额外加速。
引用
@article{arxiv.1907.10421,
title = {A graphical heuristic for reduction and partitioning of large datasets for scalable supervised training},
author = {Sumedh Yadav and Mathis Bode},
journal= {arXiv preprint arXiv:1907.10421},
year = {2019}
}
备注
30 pages, 25 figures, undergoing revision for publication in the Journal of Big Data