基于余弦拉斯特根双对角化的大语言模型权重低秩张量近似
机器学习
2026-01-27 v1
摘要
大语言模型（LLM）在 diverse natural language tasks 上展现出惊人的能力，但因极大的内存占用和计算成本而受限。本文引入一种基于 cproduct 的张量压缩框架，用于计算低秩近似。我们方法的前半部分利用 cproduct 的代数结构，在转换域中表示权重张量（包括嵌入层、注意力投影和前馈网络），使得前台切片可被低秩张量因子联合近似。这使得压缩计算高效，利用超越传统 SVD 方法的多维相关性。
引用
@article{arxiv.2601.17112,
title = {Low-Rank Tensor Approximation of Weights in Large Language Models via Cosine Lanczos Bidiagonalization},
author = {A. El Ichi and K. Jbilou},
journal= {arXiv preprint arXiv:2601.17112},
year = {2026}
}