边缘端深度学习应用中分层推理的在线算法
摘要
我们考虑一个资源受限的边缘设备（ED），例如IoT传感器或微控制器单元，其嵌入了一个用于通用分类应用的小规模ML模型（S-ML），以及一个托管大规模ML模型（L-ML）的边缘服务器（ES）。由于S-ML的推理精度低于L-ML，将所有数据样本卸载到ES可获得高推理精度，但这违背了在ED上嵌入S-ML的初衷，并丧失了本地推理所带来的低延迟、带宽节省和能效优势。为了兼顾二者优势，即在ED上推理的收益与在ES上推理的收益，我们探索分层推理（HI）的思想，其中仅当S-ML推理正确时才接受其结果，否则将该数据样本卸载以进行L-ML推理。然而，HI的理想实现不可行，因为ED并不知道S-ML推理是否正确。我们提出一种ED可用于预测S-ML推理正确性的在线元学习框架。具体而言，我们提出利用S-ML对数据样本输出的最大softmax值来决定是否卸载。由此产生的在线学习问题转化为一个具有连续专家空间的专家建议预测（PEA）问题。我们提出两种不同算法，并在不对损失函数光滑性作任何假设的情况下证明了它们的次线性后悔界。我们使用四个数据集（即Imagenette、Imagewoof、MNIST和CIFAR-10）对提出的算法在图像分类应用中的性能进行了评估与基准测试。
引用
@article{arxiv.2304.00891,
title = {Online Algorithms for Hierarchical Inference in Deep Learning applications at the Edge},
author = {Vishnu Narayanan Moothedath and Jaya Prakash Champati and James Gross},
journal= {arXiv preprint arXiv:2304.00891},
year = {2024}
}
备注
The original version was submitted to a journal and was later revised. The updated version was accepted in a journal and will be published soon. The 'Journal reference' will be updated as and when the information is available