Sigma：面向高效语言模型的Query、Key、Value差分尺度
计算与语言
2025-02-11 v2
摘要
我们提出Sigma，一个专为系统领域设计的高效大语言模型，基于 novel architecture including DiffQKV attention，并在精心收集的系统领域数据上进行预训练。DiffQKV attention通过针对Query（Q）、Key（K）和Value（V）在注意力机制中的不同影响，对其进行差分优化，从而显著提升Sigma的推理效率。具体而言，我们（1）开展大量实验表明模型对K、V压缩的敏感性各异，导致开发差分压缩KV；（2）提出增强Q以扩充Q头维度，仅对推理速度产生最小影响，却显著提升模型的表示能力。严格的理论与实证分析揭示，DiffQKV attention显著提升效率，在长上下文场景下，相较于常规分组查询注意力（GQA）实现最高33.36%的推理速度提升。我们在多来源数据（包括我们精心收集的19.5B系统领域数据和1T合成与重写数据）上预训练Sigma。总体而言，Sigma在通用领域实现与其他SOTA模型相当的性能。在系统领域，我们引入首个全面基准AIMicius，Sigma在所有任务中表现突出，相较于GPT-4提升最高可达52.5%。
关键词
引用
@article{arxiv.2501.13629,
title = {Sigma: Differential Rescaling of Query, Key and Value for Efficient Language Models},
author = {Zhenghao Lin and Zihao Tang and Xiao Liu and Yeyun Gong and Yi Cheng and Qi Chen and Hang Li and Ying Xin and Ziyue Yang and Kailai Yang and Yu Yan and Xiao Liang and Shuai Lu and Yiming Huang and Zheheng Luo and Lei Qu and Xuan Feng and Yaoxiang Wang and Yuqing Xia and Feiyang Chen and Yuting Jiang and Yasen Hu and Hao Ni and Binyang Li and Guoshuai Zhao and Jui-Hao Chiang and Zhongxin Guo and Chen Lin and Kun Kuang and Wenjie Li and Yelong Shen and Jian Jiao and Peng Cheng and Mao Yang},
journal= {arXiv preprint arXiv:2501.13629},
year = {2025}
}