量子 Transformer：通过量子线性代数加速模型推理

来自大语言模型（LLMs）的强大生成式人工智能利用了大量的计算资源进行推理。在这项工作中，我们在容错量子计算的视角下研究了这些模型的关键组件——Transformer 架构。我们开发了量子子程序来构建 Transformer 中的基本模块，包括自注意力机制、带有层归一化的残差连接以及前馈网络。作为一个重要的子程序，我们展示了如何在量子计算机上高效实现矩阵的 Hadamard 积和逐元素函数。我们的算法准备了 Transformer 输出的振幅编码，该编码可用于测量预测或用于下一层。我们发现输入序列的矩阵范数在量子复杂度中起主导作用。通过对开源 LLMs（包括生物信息学应用）的数值实验，我们展示了在实际场景中 Transformer 推理获得量子加速的潜力。