十次前向一次反向：面向大规模深度学习的子采样

大规模机器学习系统中的深度学习模型常以来自生产环境的海量数据持续训练。流式训练数据的庞大体积对实时训练子系统构成重大挑战，而临时采样是标准做法。我们的核心见解是，这些已部署的 ML 系统在推理期间持续对数据实例执行前向传播，但临时采样并未利用这一可观的计算投入。因此，我们提议从这些前向传播中为每个实例记录恒定量的信息。该额外信息可量化地改进应参与前向与反向传播的数据实例之选择。我们提出一种新颖的优化框架来分析此问题，并在小批量梯度下降框架下给出一种高效近似算法作为实用解。与工业界广泛使用的竞争性基线相比，我们还在若干大规模分类与回归任务上展示了框架与算法的有效性。