用于语义分割的归一化特征蒸馏
计算机视觉与模式识别
2022-07-13 v1
摘要
作为一种有前景的模型压缩方法，知识蒸馏通过从庞大模型迁移知识来提升紧凑模型的性能。用于指导学生训练的知识类型十分重要。语义分割中先前的蒸馏方法力求从特征中提取各种形式的知识，这涉及依赖先验信息的精细人工设计，且性能提升有限。本文提出一种简单而有效的特征蒸馏方法，称为归一化特征蒸馏（NFD），旨在利用原始特征实现有效蒸馏，无需人工设计新知识形式。其关键思想是通过归一化防止学生专注于模仿教师特征响应的幅度。我们的方法在 Cityscapes、VOC 2012 和 ADE20K 数据集上取得了语义分割的最先进蒸馏结果。代码将公开。
引用
@article{arxiv.2207.05256,
title = {Normalized Feature Distillation for Semantic Segmentation},
author = {Tao Liu and Xi Yang and Chenshu Chen},
journal= {arXiv preprint arXiv:2207.05256},
year = {2022}
}