FAKD:面向语义分割的特征增强知识蒸馏
计算机视觉与模式识别
2022-08-31 v1
摘要
本文中,我们探索语义分割知识蒸馏中的数据增强。为避免对教师网络中的噪声过拟合,大量训练样本对知识蒸馏至关重要。翻转、平移或旋转等图像级增强技术广泛用于以往的知识蒸馏框架。受近期特征空间语义方向研究的启发,我们提出在特征空间中引入增强以实现高效蒸馏。具体地,给定语义方向,可在特征空间中为学生获得无穷多增强。此外,分析表明,通过最小化由增强定义的损失的上界,可同时优化这些增强。基于该观察,我们为语义分割中的知识蒸馏开发了新算法。在四个语义分割基准上的大量实验表明,所提方法可在无显著额外开销的情况下提升当前知识蒸馏方法的性能。代码见:https://github.com/jianlong-yuan/FAKD。
引用
@article{arxiv.2208.14143,
title = {FAKD: Feature Augmented Knowledge Distillation for Semantic Segmentation},
author = {Jianlong Yuan and Qian Qi and Fei Du and Zhibin Wang and Fan Wang and Yifan Liu},
journal= {arXiv preprint arXiv:2208.14143},
year = {2022}
}