用于增强轻量级裂缝分割模型性能的鲁棒特征知识蒸馏
计算机视觉与模式识别
2024-04-10 v1
摘要
由于鲁棒模型的尺寸和边缘设备的限制，基于视觉的裂缝检测面临部署挑战。这些问题可以通过使用知识蒸馏 (KD) 训练的轻量级模型来解决。然而，最先进的 (SOTA) KD 方法会损害抗噪鲁棒性。本文开发了鲁棒特征知识蒸馏 (RFKD)，这是一个在保持轻量模型精度的同时提高裂缝分割鲁棒性的框架。RFKD 从教师模型的 logit 层和中间特征图蒸馏知识，同时利用干净和噪声混合图像将鲁棒模式转移到学生模型，从而提高其精度、泛化能力和抗噪性能。为了验证所提出的 RFKD，还设计了一个仅有 0.5 M 参数的轻量级裂缝分割模型 PoolingCrack Tiny (PCT)，并将其作为运行该框架的学生模型。结果显示，在噪声图像上有显著增强，与 SOTA KD 方法相比，RFKD 的平均 Dice 得分 提高了 62%。
引用
@article{arxiv.2404.06258,
title = {Robust feature knowledge distillation for enhanced performance of lightweight crack segmentation models},
author = {Zhaohui Chen and Elyas Asadi Shamsabadi and Sheng Jiang and Luming Shen and Daniel Dias-da-Costa},
journal= {arXiv preprint arXiv:2404.06258},
year = {2024}
}
备注
24 pages, 13 figures