面向硬件友好的设备端训练的扰动高效零阶优化
机器学习
2025-07-28 v2 人工智能
摘要
零阶(zero-order, ZO)优化是一种新兴的深度神经网络(DNN)训练范式,具有计算简单和节省内存的优势。然而,这一看似前景广阔的方法面临着一个长期被忽视的重大挑战。ZO 需要生成大量高斯随机数,这对 FPGA 和 ASIC 等硬件平台造成了显著困难,甚至使其难以实现。本文指出了这一关键问题,其根源在于算法设计者与硬件设计者之间的不匹配。为解决该问题,我们提出了 PeZO,一种扰动高效的 ZO 框架。具体而言,我们设计了随机数复用策略以显著降低对随机数生成的需求,并引入了一种硬件友好的自适应缩放方法,以代价更低的一致分布替代高斯分布。我们的实验表明,PeZO 将随机数生成所需的 LUT 与 FF 分别减少了 48.6% 与 12.7%,最多节省 86% 的功耗,且不牺牲训练性能,从而使 ZO 优化在设备端训练中成为可行。据我们所知,这是首次探索设备端 ZO 优化的潜力,为未来研究提供了有价值的参考。
引用
@article{arxiv.2504.20314,
title = {Perturbation-efficient Zeroth-order Optimization for Hardware-friendly On-device Training},
author = {Qitao Tan and Sung-En Chang and Rui Xia and Huidong Ji and Chence Yang and Ci Zhang and Jun Liu and Zheng Zhan and Zhenman Fang and Zhou Zou and Yanzhi Wang and Jin Lu and Geng Yuan},
journal= {arXiv preprint arXiv:2504.20314},
year = {2025}
}