通过分层移动-云协作应对环境变化的响应式 DNN 视频分析自适应

移动视频分析系统常面临多种部署环境，环境变化对已部署的“专家 DNN 模型”的自适应响应能力提出了更高要求。现有模型自适应框架主要以云为中心运行，在自适应过程中表现出性能下降和对环境变化的延迟反应。为此，本文提出 MOCHA，一种通过移动端与云端资源的分层协作来优化连续模型自适应响应能力的新型框架。具体而言，MOCHA (1) 通过在请求云端模型检索和端到端重训练之前，执行设备端模型复用和快速微调，来减少自适应响应延迟；(2) 通过利用云基础模型分析的领域语义作为索引，将历史专家模型组织成结构化分类体系，从而加速历史专家模型检索；(3) 通过为频繁场景维护板载专家模型缓存，并主动从云端模型数据库预取模型权重，实现高效的本地模型复用。在三个 DNN 任务上使用真实世界视频进行的大量评估表明，MOCHA 在自适应过程中将模型准确率提升了高达 6.8%，同时将响应延迟和重训练时间分别节省了高达 35.5 倍和 3.0 倍。