面向边缘设备的CNN与视觉Transformer知识蒸馏的最优权衡
计算机视觉与模式识别
2024-07-19 v1 人工智能
摘要
本文讨论了知识蒸馏（KD）过程中的四个方面，针对卷积神经网络（CNN）和视觉转换器（ViT）架构，尤其是在处理能力受限的边缘设备上执行时。首先，我们对CNN与ViT架构之间的KD过程进行比较分析，旨在阐明不同架构配置用于教师和学生模型的可行性和有效性，同时评估其性能和效率。其次，我们探讨了在保持KD持续时间不变的前提下，调整学生模型大小对准确率和推理速度的影响。其次，我们检验了采用更高分辨率图像对准确率、内存占用和计算负载的影响。最后，我们检验了在KD后针对特定下游任务进行微调所带来的性能提升。通过实证评估和分析，本研究为AI实践者提供了在边缘设备上最大化知识蒸馏过程有效性的策略见解。
引用
@article{arxiv.2407.12808,
title = {Towards Optimal Trade-offs in Knowledge Distillation for CNNs and Vision Transformers at the Edge},
author = {John Violos and Symeon Papadopoulos and Ioannis Kompatsiaris},
journal= {arXiv preprint arXiv:2407.12808},
year = {2024}
}