面向分布式机器学习的联合核心集构建与量化
机器学习
2022-04-15 v1
摘要
核心集是大型数据集的小型加权摘要，旨在为机器学习(ML)任务提供可证明的误差界，同时显著降低通信与计算成本。为在ML误差界与成本之间实现更好的权衡，我们提出了首个将量化技术纳入核心集构建过程的框架。具体而言，我们从理论上分析了核心集构建与量化组合所引起的ML误差界。基于此，我们构建了一个在固定通信成本预算下最小化ML误差的优化问题。为提升对大型数据集的可扩展性，我们识别出原目标函数的两个代理，并为之开发了高效算法。针对数据分布于多个节点的情况，我们进一步设计了一种新颖算法，在最小化总体ML误差的同时向各节点分配通信预算。通过在多个真实世界数据集上的大量实验，我们证明了所提算法在多种ML任务上的有效性与高效性。特别地，在大多数情况下，我们的算法实现了超过90%的数据缩减，而ML性能下降小于10%。
引用
@article{arxiv.2204.06652,
title = {Joint Coreset Construction and Quantization for Distributed Machine Learning},
author = {Hanlin Lu and Changchang Liu and Shiqiang Wang and Ting He and Vijay Narayanan and Kevin S. Chan and Stephen Pasteris},
journal= {arXiv preprint arXiv:2204.06652},
year = {2022}
}