Skip2-LoRA：一种面向低成本边缘设备的轻量级设备端DNN微调方法
机器学习
2024-10-29 v1 人工智能
摘要
本文提出Skip2-LoRA作为一种深度神经网络的轻量级微调方法，以解决预训练模型与部署模型之间的差距。在我们的方法中，可训练的LoRA（低秩适应）适配器被插入到最后一层和每隔一层之间，以增强网络表达能力，同时保持较低的反向计算成本。这种架构非常适合缓存前向传播的中间计算结果，然后可以随着训练轮次的进行跳过已见样本的前向计算。我们实现了所提出的架构与缓存的组合，记为Skip2-LoRA，并在一个15美元的单板计算机上进行了测试。我们的结果表明，与具有相同数量可训练参数但保持准确性的对应方法相比，Skip2-LoRA平均减少了90.0%的微调时间，同时在微控制器板上仅需几秒钟。
引用
@article{arxiv.2410.21073,
title = {Skip2-LoRA: A Lightweight On-device DNN Fine-tuning Method for Low-cost Edge Devices},
author = {Hiroki Matsutani and Masaaki Kondo and Kazuki Sunaga and Radu Marculescu},
journal= {arXiv preprint arXiv:2410.21073},
year = {2024}
}
备注
ASP-DAC 2025 (accepted)