结合云计算与移动计算用于机器学习
分布式、并行与集群计算
2024-02-27 v2 人工智能
机器学习
摘要
尽管移动设备的计算能力不断增强，但机器学习模型的规模也在日益增长。这一趋势因内存容量和电池寿命等限制，给移动设备带来了挑战。虽然许多服务（如 ChatGPT 和 Midjourney）将所有推理任务都在云端运行，但我们认为灵活且细粒度的任务分配更为可取。在本文中，我们将模型分割视为提升用户体验的解决方案，通过在移动设备与云端之间划分计算任务，在卸载模型中计算密集型部分的同时，最小化所需的数据传输量。我们表明，这种划分不仅减少了用户的等待时间，还可以进行微调以优化云端的工作负载。为此，我们设计了一个调度器，用于收集网络质量、客户端设备能力和作业需求等信息，从而在一系列设备上实现一致的性能，同时减少云端所需执行的工作量。
引用
@article{arxiv.2402.04880,
title = {Combining Cloud and Mobile Computing for Machine Learning},
author = {Ruiqi Xu and Tianchi Zhang},
journal= {arXiv preprint arXiv:2402.04880},
year = {2024}
}
备注
Ruiqi Xu and Tianchi Zhang contributed equally to this work