基于云端-设备协作的无反向传播多模态设备端模型适应方法
分布式、并行与集群计算
2024-11-20 v3 人工智能
机器学习
摘要
在日益互联互通的世界中，智能设备不断积累大量个性化多模态数据，亟需提供高质量、面向设备的个性化服务。然而，这一目标对主要部署于云端的人工智能(AI)系统构成了多方面的挑战。随着云端与设备之间数据分布的变化，传统的基于微调的适应方法(FTA)存在数据标注成本高昂且耗时的、以及模型易过拟合的风险。为克服这些挑战，我们引入了通用设备端多模态模型适应框架，通过平衡效率与效果，革新化设备端模型适应。该框架包含云端提供的快速域适配器(Fast Domain Adaptor, FDA)，为设备上的轻量级多模态模型提供量身定制的参数。为提升跨多模态任务的适应性，锚框分布推理器(AnchorFrame Distribution Reasoner, ADR)最小化通信成本。我们的工作封装于云端-设备协作多模态参数生成(Cloud-Device Collaboration Multi-modal Parameter Generation, CDC-MMPG)框架，代表了设备端多模态模型适应(Device Multi-modal Model Adaptation, DMMA)的开创性解决方案。大量实验验证了我们方法的高效与高效，尤其在视频问答和检索任务中，推动了智能设备融入日常生活的进程。
引用
@article{arxiv.2406.01601,
title = {Backpropagation-Free Multi-modal On-Device Model Adaptation via Cloud-Device Collaboration},
author = {Wei Ji and Li Li and Zheqi Lv and Wenqiao Zhang and Mengze Li and Zhen Wan and Wenqiang Lei and Roger Zimmermann},
journal= {arXiv preprint arXiv:2406.01601},
year = {2024}
}