面向 Softmax 注意力优化的零阶算法
机器学习
2023-07-18 v1 机器学习
摘要
大语言模型（LLMs）给人类社会带来了重大变革。在 LLM 的关键计算中，softmax 单元极为重要。它借助一系列输入词，帮助模型在潜在后续词或短语上生成概率分布。利用该分布，模型基于所赋概率选出最可能的下一个词或短语。softmax 单元在 LLM 训练中发挥重要作用，它通过调整神经网络权重与偏置来促进从数据中学习。随着 LLM 规模的发展，计算梯度变得昂贵。然而，零阶方法仅需前向传播即可近似计算梯度。本文提出一种专为 Softmax 优化定制的零阶算法。我们证明了算法的收敛性，凸显其在大规模 LLM 梯度高效计算上的有效性。通过利用零阶方法，我们的工作推动了复杂语言模型背景下优化技术的进展。
关键词
引用
@article{arxiv.2307.08352,
title = {Zero-th Order Algorithm for Softmax Attention Optimization},
author = {Yichuan Deng and Zhihang Li and Sridhar Mahadevan and Zhao Song},
journal= {arXiv preprint arXiv:2307.08352},
year = {2023}
}