面向语义图像分割中可比较的知识蒸馏
计算机视觉与模式识别
2023-09-08 v1 人工智能
机器学习
摘要
知识蒸馏(KD)是针对语义分割中模型规模大、推理速度慢的一种已提出的解决方案。在我们的研究中，我们从过去 4 年的 14 篇出版物中识别出 25 个提出的蒸馏损失项。遗憾的是，基于已发表结果对这些项进行比较通常是不可能的，因为训练配置存在差异。该问题的一个很好例证是 2022 年两篇出版物的比较。使用相同的模型和数据集，结构性与统计性纹理蒸馏(SSTKD)报告学生 mIoU 提升 4.54、最终性能为 29.19，而自适应视角蒸馏(APD)仅将学生性能提升 2.06 个百分点，却达到了 39.25 的最终性能。造成如此极端差异的原因通常是超参数的次优选择以及作为参考点的学生模型随之表现不佳。在我们的工作中，我们通过表明两个被广泛接受的框架 SKD 和 IFVD 的蒸馏改进在超参数得到充分优化后消失，揭示了超参数调优不足的问题。为提高该领域未来研究的可比较性，我们为三个数据集和两个学生模型建立了坚实基础基线，并提供了关于超参数调优的详尽信息。我们发现，在 ADE20K 数据集上，八种技术中仅有两种能与我们的简单基线竞争。
引用
@article{arxiv.2309.03659,
title = {Towards Comparable Knowledge Distillation in Semantic Image Segmentation},
author = {Onno Niemann and Christopher Vox and Thorben Werner},
journal= {arXiv preprint arXiv:2309.03659},
year = {2023}
}
备注
Accepted by the ECML PKDD 2023 workshop track: Simplification, Compression, Efficiency, and Frugality for Artificial Intelligence (SCEFA). This preprint has not undergone peer review or any post-submission improvements or corrections