早期Transformer：通过早鸟彩票进行Transformer模型高效训练的研究
计算与语言
2024-05-07 v1 机器学习
摘要
Transformer模型的训练彻底改变了自然语言处理和计算机视觉，但它仍然是一个资源密集且耗时的过程。本文研究了早鸟彩票假说在优化Transformer模型训练效率方面的适用性。我们提出了一种结合迭代剪枝、掩码距离计算和选择性再训练的方法，以在各种Transformer架构（包括ViT、Swin-T、GPT-2和RoBERTa）中识别早鸟彩票。我们的实验结果表明，在训练或微调的前几个周期内可以一致地找到早鸟彩票，从而在不影响性能的情况下实现显著的资源优化。从早鸟彩票获得的剪枝模型在显著减少内存使用的同时，达到了与未剪枝模型相当甚至更高的精度。此外，我们的比较分析强调了早鸟彩票现象在不同Transformer模型和任务中的普遍性。这项研究有助于开发Transformer模型的高效训练策略，使其更易于使用和资源友好。通过利用早鸟彩票，从业者可以加速自然语言处理和计算机视觉应用的进展，同时减少与训练Transformer模型相关的计算负担。
关键词
引用
@article{arxiv.2405.02353,
title = {Early Transformers: A study on Efficient Training of Transformer Models through Early-Bird Lottery Tickets},
author = {Shravan Cheekati},
journal= {arXiv preprint arXiv:2405.02353},
year = {2024}
}