ATMS-KD：面向农业嵌入式系统的自适应温度和混合样本知识蒸馏
计算机视觉与模式识别
2025-08-29 v1
摘要
本研究提出了 ATMS-KD（自适应温度和混合样本知识蒸馏），这是一种 novel 框架，用于开发适用于资源受限农业环境的轻量级 CNN 模型。该框架结合自适应温度调度和混合样本增强，将来自 MobileNetV3 Large 教师模型（5.7M 参数）的知识蒸馏到轻量级残差 CNN 学生模型。评估了三个学生配置：紧凑型（1.3M 参数）、标准型（2.4M 参数）和增强型（3.8M 参数）。本研究使用来自摩洛哥东南部达德沙漠 Oasis 中罗莎达马杰纳（Rosa damascena）农田收集的 Damask 玫瑰图像数据集，为农业计算机视觉应用提供了现实可靠的基准。实验评估表明，ATMS-KD 在直接训练方法上显著优于。所有学生模型的验证准确率均超过 96.7%，而直接训练为 95-96%。该框架在十一种已建立的知识蒸馏方法中表现突出，紧凑型模型达到 97.11%准确率——比第二名方法高出 1.60 个百分点，同时保持最低的推理延迟为 72.19ms。所有配置的知识保留率均超过 99%，显示有效的知识传递，无论学生模型容量如何。
引用
@article{arxiv.2508.20232,
title = {ATMS-KD: Adaptive Temperature and Mixed Sample Knowledge Distillation for a Lightweight Residual CNN in Agricultural Embedded Systems},
author = {Mohamed Ohamouddou and Said Ohamouddou and Abdellatif El Afia and Rafik Lasri},
journal= {arXiv preprint arXiv:2508.20232},
year = {2025}
}