随电池共舞：在移动设备上实现Transformer的运行时可重构性
机器学习
2021-02-15 v1
摘要
本文提出了一种基于剪枝的运行时可重构自动机器学习框架，即RT3。该框架使基于Transformer的大型自然语言处理（NLP）模型能够在资源受限的移动设备上高效执行，并在运行时进行重构（即针对动态硬件条件切换模型）。这种可重构性是节省电池供电移动设备能耗的关键，此类设备广泛使用动态电压频率调节（DVFS）技术进行硬件重构以延长电池寿命。本工作中，我们创造性地探索了针对基于Transformer模型的混合块结构剪枝（BP）与模式剪枝（PP），并首次尝试结合硬件与软件重构以最大程度节省电池供电移动设备的能耗。具体而言，RT3集成两级优化：首先，利用高效BP作为面向资源受限移动设备的第一步压缩；随后，RT3基于一级优化启发式生成收缩的搜索空间，并通过强化学习为PP搜索具有不同稀疏度的多个模式集，以支持轻量级软件重构，对应于DVFS的可用频率级别（即硬件重构）。在运行时，RT3可在45ms内切换轻量级模式集，以在不同频率级别下保证所需的实时约束。结果进一步表明，RT3可使电池寿命延长超过4倍，且Transformer精度损失小于1%，DistilBERT分数下降1.5%。
引用
@article{arxiv.2102.06336,
title = {Dancing along Battery: Enabling Transformer with Run-time Reconfigurability on Mobile Devices},
author = {Yuhong Song and Weiwen Jiang and Bingbing Li and Panjie Qi and Qingfeng Zhuge and Edwin Hsing-Mean Sha and Sakyasingha Dasgupta and Yiyu Shi and Caiwen Ding},
journal= {arXiv preprint arXiv:2102.06336},
year = {2021}
}
备注
7 pages, 5 figures