eXmY：一种用于任意比特精度量化的数据类型和技术
机器学习
2024-05-27 v1 人工智能
硬件体系结构
数值分析
数值分析
摘要
eXmY是一种用于机器学习模型量化的新型数据类型。它支持任意比特宽度以及任意整数和浮点格式。例如，它无缝支持3、5、6、7、9比特格式。对于特定的比特宽度（比如7），它定义了所有可能的格式，例如e0m6、e1m5、e2m4、e3m3、e4m2、e5m1和e6m0。对于非2的幂次比特宽度（例如5、6、7），我们创建了一种新颖的编码和解码方案，实现了完美压缩、字节可寻址性，并且适用于分片和向量处理。我们在C++、TensorFlow、JAX和PAX中实现了用于模拟、编码和解码张量及检查点的库。为了获得最佳性能，编解码器在CPU上使用SIMD指令，在TPU和GPU上使用向量指令。eXmY也是一种技术，利用张量中指数的统计分布。它可以用于量化权重、静态和动态激活、梯度、主权重和优化器状态。它可以减少内存（CPU DRAM和加速器HBM）、网络和磁盘存储及传输。它可以增加多租户并加速计算。eXmY已在生产环境中部署近两年。
引用
@article{arxiv.2405.13938,
title = {eXmY: A Data Type and Technique for Arbitrary Bit Precision Quantization},
author = {Aditya Agrawal and Matthew Hedlund and Blake Hechtman},
journal= {arXiv preprint arXiv:2405.13938},
year = {2024}
}