BSFA：利用子空间二分法加速神经网络训练
机器学习
2025-12-29 v2
摘要
近期研究 \citep{gur2018gradient,song2024does, wen2024understanding} 凸显了深度学习优化中的根本性二分法：尽管沿损失 Hessian 最上征方向的参数更新（Dom 空间）捕获了大部分更新幅度，但对损失减少贡献微乎其微。相比之下，正交分量（Bulk 空间）的更新幅度较小，却驱动了大部分学习进度。本文进一步深化了对这一现象的理解，提出一种新型即插即用的框架——Bulk-Space-Filtration-Accelerator（BSFA）。BSFA 通过对这两个子空间上投影的更新分量进行差别比例缩放，从而加速训练，同时通过调制主导子空间中的更新来提升稳定性，通过放大 Bulk 空间中的更新来加速收敛。为确保 BSFA 在当代大型模型中既实用又可扩展，我们引入两个关键创新：一种基于历史更新的主成分分析（PCA）的高效估计器，用于快速子空间估计，以及一种按参数块逐层应用该估计的策略。这些设计使得 BSFA 在计算上具有可行性和高度有效性。我们在各种任务上展示了 BSFA 的加速效果，尤其在 WikiText-103 上预训练 LLaMA-72M 以及在 OpenWebText 上预训练 LLaMA-134M 时，相较于 vanilla AdamW 实现约 2 倍的加速。
引用
@article{arxiv.2510.25244,
title = {BSFA: Leveraging the Subspace Dichotomy to Accelerate Neural Network Training},
author = {Wenjie Zhou and Bohan Wang and Wei Chen and Xueqi Cheng},
journal= {arXiv preprint arXiv:2510.25244},
year = {2025}
}
备注
16 pages