基于 Gompertz 曲线的动态知识蒸馏方法
计算机视觉与模式识别
2025-10-27 v1 人工智能
摘要
本文提出一种新型动态知识蒸馏框架 Gompertz-CNN，将 Gompertz 生长模型融入训练流程，以解决传统知识蒸馏方法的局限性。常规方法往往难以捕捉学生模型认知能力的演变规律，导致知识传递效果次佳。为此，我们提出基于阶段的蒸馏策略，动态调整蒸馏损失权重，依据 Gompertz 曲线反映学生学习进程：初始阶段增长缓慢，中期提升迅速，后期趋于饱和。我们的框架引入 Wasserstein 距离衡量特征层级差异，采用梯度匹配对齐教师与学生模型的反向传播行为。这些组件在多损失目标下统一，其中 Gompertz 曲线随时间调制蒸馏损失的影响。针对 CIFAR-10 与 CIFAR-100 上的大量实验，验证了多种教师-学生架构（如 ResNet50 与 MobileNet_v2）的有效性，Gompertz-CNN 在 CIFAR-10 上实现最高 8%，在 CIFAR-100 上实现最高 4% 的准确率提升，持续超越传统蒸馏方法。
引用
@article{arxiv.2510.21649,
title = {A Dynamic Knowledge Distillation Method Based on the Gompertz Curve},
author = {Han Yang and Guangjun Qin},
journal= {arXiv preprint arXiv:2510.21649},
year = {2025}
}
备注
15 pages, 2 figures