Corgi^2：一种面向SGD存储感知数据混洗的混合离线与在线方法
机器学习
2023-09-06 v1 人工智能
摘要
当使用随机梯度下降（SGD）训练机器学习模型时，通常关键的是向模型提供从数据集中随机采样的样本。然而，对于存储在云端的海量数据集，对单个样本的随机访问往往代价高昂且效率低下。最近的工作\cite{corgi}提出了一种名为CorgiPile的在线混洗算法，大幅提升了数据访问效率，代价是一定性能损失，这在存储于同质分片（例如视频数据集）的大数据集中尤为明显。本文中，我们引入一种新颖的SGD两步部分数据混洗策略，将CorgiPile方法的离线迭代与随后的在线迭代相结合。我们的方法兼具两者之长：其表现与具有随机访问的SGD相似（即便对同质数据亦然），且不牺牲CorgiPile的数据访问效率。我们提供了对方法收敛性质的全面理论分析，并通过实验结果展示了其实用优势。
引用
@article{arxiv.2309.01640,
title = {Corgi^2: A Hybrid Offline-Online Approach To Storage-Aware Data Shuffling For SGD},
author = {Etay Livne and Gal Kaplun and Eran Malach and Shai Shalev-Schwatz},
journal= {arXiv preprint arXiv:2309.01640},
year = {2023}
}
备注
19 pages, 5 figures