我们能走多低：低精度训练中以内存换取误差
机器学习
2022-03-18 v3 人工智能
摘要
低精度算术以更少的能量、更少的内存和更少的时间训练深度学习模型。然而，我们为这些节省付出了代价：更低的精度可能产生更大的舍入误差，从而带来更大的预测误差。随着应用激增，用户必须选择用何种精度训练新模型，芯片制造商必须决定制造哪些精度。我们将这些精度选择视为超参数调优问题，并借鉴元学习思想来学习内存与误差之间的权衡。在本文中，我们引入选取完美精度的帕累托估计（Pareto Estimation to Pick the Perfect Precision，PEPPP）。我们使用矩阵分解以有限次数的网络评估找到非支配配置（帕累托前沿）。对于任意给定的内存预算，使误差最小的精度是该前沿上的一个点。实践者可使用该前沿以内存换取误差，并为其目标选择最佳精度。
引用
@article{arxiv.2106.09686,
title = {How Low Can We Go: Trading Memory for Error in Low-Precision Training},
author = {Chengrun Yang and Ziyang Wu and Jerry Chee and Christopher De Sa and Madeleine Udell},
journal= {arXiv preprint arXiv:2106.09686},
year = {2022}
}
备注
ICLR 2022