HessFormer：基础规模下的海森矩阵计算

尽管深度学习模型的一阶优化领域已取得重大进展，当前最先进的开源混合专家模型参数规模已达数千亿，但依赖海森向量积的方法仍局限于单 GPU 运行，因而甚至无法处理十亿参数级别的模型。我们发布了软件包 HessFormer，它与广为人知的 Transformers 包无缝集成，并支持在单节点多 GPU 上进行分布式海森向量计算。支撑我们实现的是一个分布式随机兰佐斯正交积分算法，我们将其公开发布以供使用。利用该软件包，我们研究了最新的 DeepSeek 700 亿参数模型的海森谱密度。