面向协作智能的移动-云端推理

随着移动设备AI应用日益普及，对深度学习模型推理更快执行与更低能耗的需求不断增长。历史上，移动设备上运行的模型相较于只能在云端运行的大型前沿研究模型更小且更简单。然而，纯云端推理存在网络带宽消耗增加与更高延迟等缺陷。此外，纯云端推理需将输入数据（图像、音频）完整传输至云端，引发潜在的隐私泄露担忧。存在一种替代方案：移动-云端共享推理。在移动端执行部分推理以降低输入数据维度并得到紧凑特征张量，即输入信号的潜空间表示。该特征张量随后被传至服务器进行进一步推理。该策略可降低推理延迟、能耗与网络带宽使用，并提供隐私保护，因为原始信号从不离开移动端。通过在传输前压缩特征张量可进一步获得性能提升。