EPAS：基于渐进式激活共享的高效训练方法
机器学习
2026-01-28 v1 计算机视觉与模式识别
摘要
我们提出了一种名为 EPAS（Efficient Training with Progressive Activation Sharing）的 novel 方法。该方法将渐进式训练范式与 transformer 深层 QK（或 KV）激活冗余现象相结合。EPAS 通过切换解码器层的激活共享模式，逐步扩大共享区域，从而降低计算量，提高吞吐量。为充分利用深层的激活冗余，共享区域从模型的深端开始，向浅端扩张。EPAS 训练的模型在推理阶段可根据不同的计算预算，支持激活共享区域的可变长度。在参数从 125M 到 7B 的 LLaMA 模型上进行的实证评估显示，采用 QK 激活共享可在训练吞吐量提升最高达 11.1%，推理吞吐量提升最高达 29%，且保持与基线模型相似的 loss 曲线。此外，将 EPAS 应用于 TinyLLaMA 的持续预训练以实现注意力共享模型，平均准确率可提升最高达 10%，凸显了渐进式训练在跨层激活共享模型中的重要性。
引用
@article{arxiv.2601.19089,
title = {EPAS: Efficient Training with Progressive Activation Sharing},
author = {Rezaul Karim and Maryam Dialameh and Yang Liu and Boxing Chen and Walid Ahmed},
journal= {arXiv preprint arXiv:2601.19089},
year = {2026}
}
备注
This is a preprint of a paper accepted at the 39th Canadian Conference on Artificial Intelligence (Canadian AI 2026)