Panther：利用随机化数值线性代数实现更快速、更低成本的计算
机器学习
2026-01-23 v1 人工智能
摘要
训练现代深度学习模型越来越受到 GPU 内存和计算极限的制约。尽管随机化数值线性代数 提供了经过验证的模型压缩技术，但缺乏统一的生产级库阻碍了这些方法的广泛采用。我们提出了 Panther，一个兼容 PyTorch 的库，它将成熟的 RandNLA 算法整合到一个单一的高性能框架中。Panther 为标准组件设计了高效的直接替代品，包括草图线性层、2D 卷积、多头注意力机制和随机矩阵分解（如选主元 CholeskyQR）。通过实现自定义的 C++/CUDA 后端，Panther 提供了可在 CPU 和 GPU 上运行的优化实现。我们展示了 RandNLA 技术的有效性以及 Panther 的易采用性。通过用 Panther 层替换标准的 PyTorch 线性层（仅需几行代码），我们在 BERT 上实现了显著的内存节省（高达 75%），同时保持了相当的损失。源代码可在 https://github.com/FahdSeddik/panther 获取（MIT 许可证），演示视频见 https://youtu.be/7M3RQb4KWxs。
引用
@article{arxiv.2601.15473,
title = {Panther: Faster and Cheaper Computations with Randomized Numerical Linear Algebra},
author = {Fahd Seddik and Abdulrahman Elbedewy and Gaser Sami and Mohamed Abdelmoniem and Yahia Zakaria},
journal= {arXiv preprint arXiv:2601.15473},
year = {2026}
}
备注
5 pages, 3 figures, 2 listings