PLiNIO：一个用户友好的基于梯度的复杂度感知 DNN 优化方法库
机器学习
2023-07-20 v1
摘要
准确且高效的深度神经网络（DNNs）需求巨大，尤其是那些需要在受限边缘设备上执行的应用。针对新应用在合理时间内找到此类 DNNs 需要自动化优化流水线，因为海量的超参数组合空间无法靠人工充分探索。本工作中，我们提出 PLiNIO，一个开源库，在统一且用户友好的接口下实现了一整套基于轻量级梯度优化的前沿 DNN 设计自动化技术。通过在若干边缘相关任务上的实验，我们表明组合 PLiNIO 中可用的多种优化可得到丰富的解决方案集合，在精度与模型大小方面帕累托支配所考虑的基线。值得注意的是，与基线架构相比，PLiNIO 实现了高达 94.34% 的内存缩减且精度下降小于 1%。
引用
@article{arxiv.2307.09488,
title = {PLiNIO: A User-Friendly Library of Gradient-based Methods for Complexity-aware DNN Optimization},
author = {Daniele Jahier Pagliari and Matteo Risso and Beatrice Alessandra Motetti and Alessio Burrello},
journal= {arXiv preprint arXiv:2307.09488},
year = {2023}
}
备注
Accepted at the 2023 Forum on Specification & Design Languages (FDL)