面向协作智能的共享移动-云端推理
人工智能
2020-02-04 v1 图像与视频处理
摘要
随着移动设备 AI 应用日益普及，对神经模型推理更快执行与更低能耗的需求不断增长。历史上，移动设备上运行的模型相较于只能在云端运行的大型最先进研究模型更小且更简单。然而，仅云端推理存在诸如网络带宽消耗增加与更高延迟等缺陷。此外，仅云端推理要求将输入数据（图像、音频）完整传输至云端，引发潜在的隐私泄露担忧。我们展示了一种替代方法：共享移动-云端推理。在移动端执行部分推理，以降低输入数据维度并得到紧凑的特征张量，即输入信号的潜空间表示。随后该特征张量被传输至服务器进行进一步推理。该策略可改善推理延迟、能耗与网络带宽使用，并提供隐私保护，因为原始信号从未离开移动端。通过在传输前压缩特征张量，可取得进一步的性能增益。
引用
@article{arxiv.2002.00157,
title = {Shared Mobile-Cloud Inference for Collaborative Intelligence},
author = {Mateen Ulhaq and Ivan V. Bajić},
journal= {arXiv preprint arXiv:2002.00157},
year = {2020}
}
备注
5 pages, 3 figures