Transformer-VQ：通过向量量化实现线性时间 Transformer
机器学习
2024-02-27 v2 计算与语言
计算机视觉与模式识别
摘要
我们提出 Transformer-VQ，一种仅解码器的 transformer，以线性时间计算基于 softmax 的稠密自注意力。Transformer-VQ 的高效注意力由向量量化键与一种新颖缓存机制实现。在我们的大规模实验中，Transformer-VQ 在质量上极具竞争力，在 Enwik8 上取得 0.99 bpb，在 PG-19 上取得 26.6 ppl，在 ImageNet64 上取得 3.16 bpb。此外，Transformer-VQ 的优化实现在序列长度 8k 时比可比较的二次时间 transformer 快 3 倍以上，在 32k 时快 12 倍以上，并可在相似吞吐下扩展到 131k。代码见：\url{https://github.com/transformer-vq/transformer_vq}
引用
@article{arxiv.2309.16354,
title = {Transformer-VQ: Linear-Time Transformers via Vector Quantization},
author = {Lucas D. Lingle},
journal= {arXiv preprint arXiv:2309.16354},
year = {2024}
}
备注
ICLR 2024 camera-ready