ElasticZO：一种结合零阶与一阶优化的高效内存设备学习方法
机器学习
2025-01-09 v1
摘要
零阶（ZO）优化正被认可为一种简单而强大的标准反向传播（BP）基于训练的替代方案。值得注意的是，ZO 优化仅需前向传递即可进行训练，几乎与推断相同的内存占用，使其特别适用于计算和内存资源有限的边缘设备。在本文中，我们提出了用于全精度和 8 位量化深度神经网络（DNN）的基于 ZO 的设备学习（ODL）方法，称为 ElasticZO 和 ElasticZO-INT8。ElasticZO 位于纯 ZO 和纯 BP 方法之间，基于在最后几层使用 BP 而剩余层使用 ZO 的思想。ElasticZO-INT8 通过引入一种新方法，从整数交叉熵损失值计算量化 ZO 梯度，实现了整数算术-only ZO 训练。实验结果表明，ElasticZO 有效解决了纯 ZO 方法收敛缓慢的问题，缩小了与 BP 训练之间的精度差距。相对于纯 ZO 方法，ElasticZO 仅需 0.072-1.7% 的内存开销，即可实现 5.2-9.5% 的更高精度，并且可以处理微调任务以及完整训练。ElasticZO-INT8 在不牺牲精度的前提下，通过减少 1.46-1.60 倍的内存使用和 1.38-1.42 倍的训练时间，进一步提升了效率。这些结果表明，与纯 ZO 和 BP 方法相比，ElasticZO 在精度和训练成本之间实现了更好的权衡，也凸显了 ZO 优化在设备学习中的潜力。
引用
@article{arxiv.2501.04287,
title = {ElasticZO: A Memory-Efficient On-Device Learning with Combined Zeroth- and First-Order Optimization},
author = {Keisuke Sugiura and Hiroki Matsutani},
journal= {arXiv preprint arXiv:2501.04287},
year = {2025}
}