迭代自知识蒸馏——从坑洼分类到细粒度与 COVID 识别
计算机视觉与模式识别
2022-02-07 v1 图像与视频处理
摘要
坑洼分类已成为道路巡检车辆的一项重要任务，以使驾驶员免受潜在车祸和维修费用之苦。鉴于有限的计算能力和固定的训练轮数，我们提出迭代自知识蒸馏（ISKD）来训练轻量级坑洼分类器。ISKD 旨在知识蒸馏中随时间同时改进教师与学生模型，在三个坑洼分类数据集和四种轻量级网络架构上优于最先进的自知识蒸馏方法，这支持了自知识蒸馏应迭代进行而非仅一次完成的观点。教师与学生模型间的准确率关系表明，学生模型仍可从适度训练的教师模型中获益。我们的结果暗示更好的教师模型通常产生更好的学生模型，从而证明了 ISKD 的设计。除坑洼分类外，我们还在六个额外的通用分类、细粒度分类和医学影像应用数据集上展示了 ISKD 的有效性，这支持 ISKD 可作为一种通用性能提升器，且无需给定教师模型和额外可训练参数。
引用
@article{arxiv.2202.02265,
title = {Iterative Self Knowledge Distillation -- From Pothole Classification to Fine-Grained and COVID Recognition},
author = {Kuan-Chuan Peng},
journal= {arXiv preprint arXiv:2202.02265},
year = {2022}
}
备注
ICASSP 2022