Mobiprox：支持移动端动态近似计算

运行时可调、上下文相关的网络压缩将使移动深度学习（DL）能够适应经常变化的资源可用性、输入“难度”或用户需求。现有压缩技术显著降低了DL的内存、处理和能耗开销，但所得模型往往被永久削弱，以推理能力换取资源使用的减少。另一方面，现有可调压缩方法需要昂贵的重新训练，不支持任意的压缩适配策略，且不提供移动就绪的实现。本文提出Mobiprox，一个支持灵活精度的移动DL框架。Mobiprox实现了张量操作的可调近似，并支持对各网络层的运行时自适应近似。Mobiprox附带的剖析器和调优器可识别最有前景的神经网络近似配置，以最小资源使用达成所需推理质量。此外，我们开发了根据上下文因素（如输入数据难度）动态调节移动DL模型各层近似程度的控制策略。我们在Android OS中实现Mobiprox，并通过包括人类活动识别和语音关键词检测在内的多样移动领域实验证明，其可在对推理精度极小影响下节省高达15%的系统级能耗。