DC-CCL：面向大型视觉模型的端云协同受控学习
机器学习
2023-03-21 v1
摘要
许多大型视觉模型已部署在云端以提供实时服务。同时，所服务的移动设备上持续产生新样本。如何利用设备端样本改进云端大型模型成为一个实际需求，但却陷入原始样本不上传、大型模型不下发的困境。具体而言，用户可能因隐私或通信开销顾虑而拒绝与云端共享原始样本，而某些大型视觉模型的规模远超移动设备的运行能力。在这项工作中，我们提出一种称为 DC-CCL 的端云协同受控学习框架，使无法直接部署在移动设备上的云端大型视觉模型仍能从设备端本地样本获益。特别地，DC-CCL 将基础模型垂直拆分为两个子模型，一个大型子模型用于从云端样本学习，另一个小型子模型用于从设备端样本学习并执行端云知识融合。然而，小型子模型的设备上训练需要云端大型子模型的输出来计算所需梯度。因此，DC-CCL 引入一个轻量模型，通过知识蒸馏来模仿云端大型子模型，该轻量模型可卸载到移动设备以控制其小型子模型的优化方向。鉴于协同学习中两个子模型的解耦特性，DC-CCL 还允许云端采用预训练模型、移动设备采用具有不同骨干架构的另一模型。
引用
@article{arxiv.2303.10361,
title = {DC-CCL: Device-Cloud Collaborative Controlled Learning for Large Vision Models},
author = {Yucheng Ding and Chaoyue Niu and Fan Wu and Shaojie Tang and Chengfei Lyu and Guihai Chen},
journal= {arXiv preprint arXiv:2303.10361},
year = {2023}
}