FDC：高效 LLM 推理的快速 KV 维度压缩
机器人学
2024-08-09 v1 动力系统
摘要
在大型语言模型中，Key-Value 缓存（KVC）中的内存限制在推理过程中提出了挑战。本文提出 FDC，一种快速 KV 维度压缩系统，消除现有 KV 维度压缩系统 Palu 所产生的解压开销，并降低注意力时间。此外，FDC 采用自适应压缩，根据其对推理贡献在不同 heads 和 layers 之间调整 KV 压缩率，以在保持准确性损失约束的前提下最大化整体压缩。此外，FDC 改进注意力 kernel 以平衡自适应压缩方法导致的不均匀工作负载，从而进一步减少注意力计算延迟。全面实验表明，与 Palu 相比，FDC 可将作业完成时间（JCT）降低最高 64%，在相同延迟下实现最高 1.97 倍的吞吐量，同时在无压缩情况下保持 99% 的准确性。当将最先进的驱逐和量化方法与 FDC 结合使用时，与与 Palu 结合的效果相似。我们开源了代码。
引用
@article{arxiv.2408.04106,
title = {Force-Motion Control For A Six Degree-Of-Freedom Robotic Manipulator},
author = {Sagar Ojha and Karl Leodler and Lou Barbieri and TseHuai Wu},
journal= {arXiv preprint arXiv:2408.04106},
year = {2024}
}