基于双模型蒸馏的高效动作分类：混合边云解决方案
计算机视觉与模式识别
2024-10-22 v2 人工智能
摘要
随着大型视频语言模型 (VLM) 等人工智能模型规模的增长，其在实际应用中的部署因硬件限制和计算成本而日益具有挑战性。为此，我们设计了一种混合边云解决方案，利用 smaller 模型进行 local 处理，同时在必要时将任务委托给 larger、更准确的 cloud-based 模型。具体而言，我们提出了一种 novel 无监督数据生成方法——双模型蒸馏 (DMD)，用于训练 lightweight switcher 模型，该模型可预测 edge 模型输出是否不确定，并在必要时选择性地将推理 offload 到 cloud 中的 large 模型。在 action classification 任务上的实验结果表明，我们的框架不仅需要更少的计算开销，而且在使用 large 模型单独推理时还能提高准确率。我们的框架为 resource-constrained 环境中的 action classification 提供了 scalable and adaptable 解决方案，潜在可应用于 healthcare 之外的领域。值得注意的是，尽管 DMD 生成的数据用于优化 our pipeline 中的 performance and resource usage，但我们期望 DMD 的概念进一步支持 future research on knowledge alignment across multiple models。
引用
@article{arxiv.2410.12165,
title = {Dual-Model Distillation for Efficient Action Classification with Hybrid Edge-Cloud Solution},
author = {Timothy Wei and Hsien Xin Peng and Elaine Xu and Bryan Zhao and Lei Ding and Diji Yang},
journal= {arXiv preprint arXiv:2410.12165},
year = {2024}
}