基于MobileViT知识蒸馏的边缘AI高效少样本学习
计算机视觉与模式识别
2026-03-30 v1
摘要
高效且可适应的深度学习模型是深度学习研究的重要领域，这由在边缘设备上追求高度效率的需求推动。少样本学习使深度学习模型在数据有限的情境下也能发挥作用，这一能力在实际应用中备受青睐，因为大规模标注数据集的收集成本高或不切实际。特别是在边缘场景中，连接受限、需要低延迟响应或能耗受限时，更需要这一能力。我们提出并评估了一种为MobileViT主干网络设计的预训练方法，专为边缘计算而构建。具体而言，我们采用知识蒸馏，将大规模教师模型的泛化能力传递给轻量化学生模型。该方法在MiniImageNet基准测试上，对于一次样本和五次样本分类，分别比ResNet12基线提高了14%和6.7%，同时将模型参数数量减少69%，将计算复杂度（以FLOPs计）减少88%。此外，我们将所提模型部署在Jetson Orin Nano平台上，直接测量电源消耗，结果显示动态能耗降低37%，延迟为2.6 ms。这些结果表明，所提方法是一种有前景且实用的解决方案，可在边缘AI硬件上部署少样本学习模型。
引用
@article{arxiv.2603.26145,
title = {Efficient Few-Shot Learning for Edge AI via Knowledge Distillation on MobileViT},
author = {Shuhei Tsuyuki and Reda Bensaid and Jérémy Morlier and Mathieu Léonardon and Naoya Onizawa and Vincent Gripon and Takahiro Hanyu},
journal= {arXiv preprint arXiv:2603.26145},
year = {2026}
}