方向保持的数值表示

低精度数格式在现代机器学习系统中广泛使用，因其效率。准确的方向表示是向量运算准确性的关键。本工作精确探讨了通过从给定大小的常见有限字母表中选择标量元素来表示向量方向的可能性。这是机器学习中的标准做法，后者中低精度有效位数可能为窄幅浮点或整数值。引入几何框架用于分析此类 product 结构编码的方向覆盖。本工作在低维和渐近高维情形下，对此类 product 结构编码与球形编码在整个向量层面的次优性差距进行了分析。此外，在 product 码类别内部，证明了两种补码、固定点和浮点格式次优，再量化了这一差距，指向开发新标量数格式的潜力。这些标量字母表在多个块维度上进行数值优化，以实现方向覆盖，包括用于 NVIDIA NVFP4 格式的维度。 presented 实验结果比较了标准格式和优化字母表的性能。我们发现对于四位，NVIDIA 选择的 E2M1 接近优化字母表，为其在低精度机器学习工作负载中的强大性能提供了几何解释，并对该优越性与块大小之间的关系提供了分析性理解。我们提供了用于本文中这些定理的开源形式证明（在 Lean 中），以及实验代码和获得的优化字母表。