面向资源受限Android众所的内存高效分区DNN推理
机器学习
2026-05-21 v1
摘要
在内存受限的移动设备上部署大型深度神经网络是边缘ML的核心挑战。虽然压缩、剪枝和量化可降低每个参数的开销，但基于transformer的模型仍然难以适应商品Android手机3.3-7.4 GB的RAM容量。我们提出CROWDio的DNN管道调度子系统，通过在设备之间分布内存压力，实现无需模型修改即可跨资源受限Android工作者进行实用ONNX推理。具体实现包括：JIT延迟分区加载、单分区驻留约束、4级亲和调度器、zlib压缩张量传输以及流式1:1依赖模型。评估于约6700万参数的DistilBERT（Sanh等，2019）（SST-2任务）在五部Android手机上进行十次运行，系统将峰值设备RSS保持在43±2 MB，电池消耗限制在每次运行的50±3 mAh，同时流式并发将批处理延迟比屏障同步降低34%。
引用
@article{arxiv.2605.20723,
title = {Memory-Efficient Partitioned DNN Inference on Resource-Constrained Android Crowds},
author = {Lakshani Manamperi and Disumi Pathirana and Thiwanka Pathirana and Nipun Premarathna and Kutila Gunasekera},
journal= {arXiv preprint arXiv:2605.20723},
year = {2026}
}
备注
6 pages, 3 figures, 4 tables. Accepted at the ICML 2026 Workshop on Machine Learning for the Global South