RingAda：面向边缘设备的大模型微调的环形流水线与分阶段解冻策略
分布式、并行与集群计算
2025-02-28 v1
摘要
为实现大模型（LM）在边缘设备上的智能服务部署，采用本地个性化数据进行设备端微调可实现持续且隐私保护的LM定制。本文提出RingAda——一种面向边缘设备对基于转换器架构的LM进行微调的协作训练框架。具体而言，RingAda在形成环形拓扑结构的多个相互连接边缘设备上，依次放置冻结的转换器块及其可训练适配器模块，实现按批次的训练。RingAda采用自上而下的适配器解冻机制，实现流水线并行训练，允许在最低层未解冻的适配器层提前终止反向传播，从而加速微调过程。大量实验结果表明，RingAda在保持与其他方案相当模型性能的同时，显著降低了微调时间和内存开销。
引用
@article{arxiv.2502.19864,
title = {RingAda: Pipelining Large Model Fine-Tuning on Edge Devices with Scheduled Layer Unfreezing},
author = {Liang Li and Xiaopei Chen and Wen Wu},
journal= {arXiv preprint arXiv:2502.19864},
year = {2025}
}