理解在线学习的能量与精度需求
机器学习
2016-08-30 v3 机器学习
摘要
众所周知，学习系统中使用的数据、超参数和内部表示的精度直接影响其能量、吞吐量和延迟。对于在线学习的系统而言，训练算法的精度需求同样重要。先前的工作表明，与浮点实现相比，数据和超参数可以被大幅度量化，而不会在分类精度上造成太大损失。这些工作存在两个关键局限。首先，它们假设分类器和训练算法使用统一的精度，从而错失了进一步降低精度的机会。其次，先前的工作是经验性研究。在本文中，我们通过在支持向量机（SVM）的特定背景下，为常用的随机梯度下降（SGD）在线学习算法推导精度需求的解析下界，克服了这两个局限。数据精度的下界是根据期望的分类精度和分类器中使用的超参数的精度推导出来的。此外，还得到了SGD训练算法中超参数精度的下界。这些下界通过合成数据集和UCI乳腺癌数据集进行了验证。此外，还研究了这些精度对具有在线训练的定点SVM能耗的影响。
引用
@article{arxiv.1607.00669,
title = {Understanding the Energy and Precision Requirements for Online Learning},
author = {Charbel Sakr and Ameya Patil and Sai Zhang and Yongjune Kim and Naresh Shanbhag},
journal= {arXiv preprint arXiv:1607.00669},
year = {2016}
}
备注
14 pages, 5 figures 4 of which have 2 subfigures