AutoFreeze：自动冻结模型块以加速微调
机器学习
2021-04-06 v2
摘要
随着机器学习（ML）的快速应用，许多领域现在采用对大规模语料预训练模型进行微调的方法。然而，我们的实验表明，即使在 GPU 等现代加速器上，对 BERT 等模型进行微调也可能需要数小时。虽然先前工作提出限制微调的层数，例如冻结除最后一层外的所有层，但我们发现此类静态方法会导致精度下降。我们提出了 AutoFreeze，一种采用自适应方法选择训练哪些层的系统，并展示了它如何在保持精度的同时加速模型微调。我们还开发了启用中间激活高效缓存的机制，可在微调时减少前向计算时间。我们将 AutoFreeze 扩展至分布式微调，并设计了分别最小化成本和运行时间的两种执行模式。我们在十个 NLP 任务上的评估表明，启用缓存的 AutoFreeze 在单 GPU 上可将微调提升多达 2.55 倍。在 64 GPU 集群上，针对 AG's news 数据集的微调，AutoFreeze 在优化端到端训练时间时可达 4.38 倍加速，在优化效率时总成本降低 5.03 倍，且不影响模型精度。
引用
@article{arxiv.2102.01386,
title = {AutoFreeze: Automatically Freezing Model Blocks to Accelerate Fine-tuning},
author = {Yuhan Liu and Saurabh Agarwal and Shivaram Venkataraman},
journal= {arXiv preprint arXiv:2102.01386},
year = {2021}
}