PYRA：面向训练-推理高效任务适应的并行生成重激活方法
计算机视觉与模式识别
2024-07-19 v4
摘要
近年来，Transformer 的规模迅速增长，这在任务适应范围内给训练开销和推理效率带来了相当大的挑战。现有工作，即参数高效微调（PEFT）和模型压缩，分别对这些挑战进行了研究。然而，PEFT 无法保证原始骨干网络的推理效率，尤其对于大规模模型而言。模型压缩则需要大量的训练成本来进行结构搜索和重新训练。因此，简单地将它们结合起来并不能保证以最小的成本同时实现训练效率和推理效率。在本文中，我们针对这种训练-推理高效任务适应的挑战，提出了一种新颖的并行生成重激活（PYRA）方法。PYRA 首先利用并行生成自适应权重来全面感知下游任务中的数据分布。然后，对要合并的 token 应用一种用于 token 调制的重激活策略，从而得到校准后的 token 特征。大量实验表明，PYRA 在低压缩率和高压缩率下均优于所有竞争方法，证明了其在为大规模基础模型保持训练效率和推理效率方面的有效性和优越性。我们的代码可在 https://github.com/THU-MIG/PYRA 获取。
引用
@article{arxiv.2403.09192,
title = {PYRA: Parallel Yielding Re-Activation for Training-Inference Efficient Task Adaptation},
author = {Yizhe Xiong and Hui Chen and Tianxiang Hao and Zijia Lin and Jungong Han and Yuesong Zhang and Guoxin Wang and Yongjun Bao and Guiguang Ding},
journal= {arXiv preprint arXiv:2403.09192},
year = {2024}
}
备注
14 pages, 4 figures, Accepted by ECCV 2024