Krony-PT：利用 Kronecker 积压缩 GPT2
机器学习
2025-10-02 v2 计算与语言
摘要
我们引入了 Krony-PT，一种基于 Kronecker 积的 GPT-2 压缩技术。我们专门针对每个 transformer 块的前馈权重，并将前馈层矩阵系统地压缩到不同程度。我们引入了改进的 Van Loan 分解来初始化新的 Kronecker 因子，并提出了一种新的基于剪枝的初始化技术。我们的方法将原始的 124M 参数 GPT-2 压缩为各种更小的模型，参数量从 80M 到 96M 不等。我们的 81M 模型变体在所有标准语言建模数据集上的下一标记预测中优于 DistilGPT2，并且与显著更大的基于 Kronecker 的 GPT-2 压缩模型相比，表现出具有竞争力或可比的性能。
引用
@article{arxiv.2412.12351,
title = {Krony-PT: GPT2 compressed with Kronecker Products},
author = {Mohamed Ayoub Ben Ayad and Jelena Mitrovic and Michael Granitzer},
journal= {arXiv preprint arXiv:2412.12351},
year = {2025}
}