NuWa: 为边缘设备推导轻量级任务特定视觉变换器

视觉变换器（ViTs）在计算机视觉任务中表现优异，但缺乏针对边缘设备多样化需求的灵活性。一个关键问题是，针对边缘设备预训练的 ViTs 对于覆盖广泛任务范围而言过于「合格」，而这些设备通常只需求 ViT 的特定部分知识以满足特定任务。它们在这些边缘设备上的任务特定准确率 suboptimal。我们发现，专注于设备特定任务的小型 ViTs 能够提高模型准确率，同时加快模型推理速度。本文提出了 NuWa 方法，从基础 ViT 中为具有特定任务需求的边缘设备推导小型 ViTs。NuWa 可以将从基础 ViT 中提取的任务特定知识转移到小型 ViTs 中，充分利用边缘设备上受限的资源，以确保推理延迟的前提下最大化模型准确率。在三个基准 ViTs 和三个公开数据集上的实验表明，与最先进的解决方案相比，NuWa 在模型准确率上提高最高可达 $\text{11.83}\%$，推理速度加快 1.29$\times$ - 2.79$\times$。复现代码已提供：https://anonymous.4open.science/r/Task_Specific-3A5E。