块格式误差界限与最优块大小选择
机器学习
2022-11-08 v3 硬件体系结构
数值分析
数值分析
摘要
近年来，现代深度神经网络需要传输、处理和存储的数据量已达到极其庞大的规模，这要求在硬件和软件开发中发明新的范式。其中最有前途且发展迅速的前沿领域之一是新型数值格式的创建。在本工作中，我们关注块浮点数值格式族，因其结合了宽动态范围、数值精度以及使用简单整数算术高效实现内积的硬件优势。这些格式的特征是一组尾数共享一个比例因子。基本的块浮点格式将块比例因子量化为右侧最近的二的幂。其简单变体——缩放块浮点格式——以全精度存储相同的比例因子，从而允许更高的精度。本文严格研究了这两种格式的统计行为。我们推导了 SBFP 和 BFP 量化的正态分布向量中内积误差的渐近界限。接着，我们将这些渐近结果细化到有限维设置，并为相同的误差推导了高维紧致界限。基于所得结果，我们引入了一个评估任意块格式精度的性能度量。该度量使我们能够确定最优参数（如块大小），以获得最高精度。特别地，我们证明如果 BFP 格式的精度固定为 4 比特，则最优块大小为 64。所有理论推导均得到了数值实验以及对公开可用的预训练神经网络权重研究的支持。
引用
@article{arxiv.2210.05470,
title = {Block Format Error Bounds and Optimal Block Size Selection},
author = {Ilya Soloveychik and Ilya Lyubomirsky and Xin Wang and Sudeep Bhoja},
journal= {arXiv preprint arXiv:2210.05470},
year = {2022}
}