边缘设备上BERT模型的高效微调
机器学习
2023-01-10 v1 计算与语言
摘要
资源受限设备日益成为机器学习应用的部署目标。然而，静态模型并非总能满足动态环境的需求。设备端模型训练可实现对新场景的快速适应。随着深度神经网络规模的增长（如BERT及其他自然语言处理模型所示），其对内存、计算、能耗和时间等资源的需求也随之增加。此外，训练远比推理耗费资源。因此，资源受限的设备端学习尤为困难，尤其对于大型类BERT模型。通过降低微调的内存占用，预训练BERT模型可变得足够高效以在资源受限设备上进行微调。我们提出冻结与重配置（FAR），一种面向类BERT模型的内存高效训练机制，通过在微调期间避免不必要的参数更新来降低激活图的内存使用。FAR在DistilBERT模型和CoLA数据集上将微调时间减少30%，内存操作时间减少47%。更广泛地，在GLUE和SQuAD数据集上的指标性能平均下降约1%。
引用
@article{arxiv.2205.01541,
title = {Efficient Fine-Tuning of BERT Models on the Edge},
author = {Danilo Vucetic and Mohammadreza Tayaranian and Maryam Ziaeefard and James J. Clark and Brett H. Meyer and Warren J. Gross},
journal= {arXiv preprint arXiv:2205.01541},
year = {2023}
}
备注
4 pages, 2 figures, 3 tables. To be published in ISCAS 2022 and made available on IEEE Xplore