面向智能农业的多目标混合知识蒸馏

在智能农业中，将深度学习模型部署在资源受限的边缘设备仍是一个主要挑战，这涉及计算效率与识别精度之间的权衡。为此，本研究提出了一种混合知识蒸馏框架，用于开发轻量级且高性能的卷积神经网络。该方法设计了自定义的学生模型，将倒置残差块与稠密连接相结合，并通过集成硬标签监督、特征级蒸馏、响应级蒸馏和自蒸馏四种策略来指导ResNet18教师网络进行训练。在稻作种子品种识别数据集（包含9种品种）上进行的实验，并进一步扩展到包括稻作、土豆、咖啡和玉米四个植物叶片病害的数据集，以评估其泛化能力。在稻作种子分类任务中，蒸馏后的学生模型实现了98.56%的准确率，仅比教师模型（98.65%）低0.09%，但仅需0.68 GFLOPs和约107万参数。相对于ResNet18教师模型，这对应着约2.7倍的计算成本降低和10倍以上的模型规模缩减。此外，与代表性预训练模型相比，所提出的学生模型在参数数量上比DenseNet121减少6倍以上，比Vision Transformer（ViT）架构减少80倍以上，同时保持了可比或更好的分类精度。跨多个植物叶片病害数据集的持续性能提升进一步证明了该框架在硬件受限的智能农业系统中具有稳健性、效率高以及强大的部署潜力。