具有异常值的LLM中的精确块量化

最近几个月，对超大规模LLM推理的需求急剧增长。这凸显了专用硬件的巨大短缺，这些硬件能够高效快速地处理涉及的计算和内存移动。由于正在处理的序列长度急剧增加，问题更加严重，因为这些序列需要高效地存储大小与序列长度成比例的KV缓存。为了使所需的计算可行并将涉及的数据放入可用内存中，已经提出了许多量化技术，这些技术允许对权重和激活进行准确量化。最近的一个主要突破是引入了块浮点（BFP）格式系列，其特点是一个共享缩放因子的尾数块。这些格式支持张量操作的内存、功耗和计算高效的硬件支持，并提供极好的量化精度。阻碍块格式广泛应用的主要问题是由权重和激活中的异常值引起的，因为这些异常值会影响同一块中其他值的精度。在本文中，我们专注于最关键的KV缓存存储有限问题。我们提出了一种新颖的方法，可以在不损害最终模型精度的情况下使用低精度BFP格式。我们利用异常值表现出的常见通道模式，以显著提高其量化质量的方式重新排列它们。该方法在内存占用上节省了2倍，而不会显著降低模型精度。重要的是，通道的重新排列发生在编译时，因此对推理延迟没有影响。