GhostNetV3-Small：面向微小图像的定制架构与蒸馏策略比较研究
计算机视觉与模式识别
2025-09-17 v1 人工智能
机器学习
摘要
深度神经网络在一系列任务中取得了显著成功，然而其计算需求通常使其不适合部署在资源受限的边缘设备上。本文探讨了在此类环境中实现高效推理的模型压缩与适配策略。我们聚焦于 GhostNetV3——一种用于移动应用的 SOTA 架构，并提出了 GhostNetV3-Small，这是一种经过修改的变体，旨在 CIFAR-10 数据集等低分辨率输入上表现更佳。除了架构适配外，我们还对知识蒸馏技术进行了比较评估，包括传统知识蒸馏、教师助手和教师集成。实验结果表明，GhostNetV3-Small 在 CIFAR-10 上显著优于原始的 GhostNetV3，达到了 93.94% 的准确率。与预期相反，所有考察的蒸馏策略相比基线训练均导致了准确率下降。这些发现表明，在小规模图像分类任务中，架构适配可能比蒸馏更具影响力，凸显了在低分辨率领域进一步研究有效模型设计和先进蒸馏技术的必要性。
引用
@article{arxiv.2509.12380,
title = {GhostNetV3-Small: A Tailored Architecture and Comparative Study of Distillation Strategies for Tiny Images},
author = {Florian Zager and Hamza A. A. Gardi},
journal= {arXiv preprint arXiv:2509.12380},
year = {2025}
}