从异构架构蒸馏语义分割知识
机器学习
2025-04-11 v1 计算机视觉与模式识别
摘要
當前的語義分割知識蒸餾（KD）方法專注於引導學生在同質架構內模仿教師的知識，但忽略了不同歸約偏差架構中所包含的多樣化知識，這對學生在蒸餾過程中獲得更精確和全面數據理解至關重要。為此，我們首次提出一種基於異構視角的語義分割通用知識蒸餾方法，命名為 HeteroAKD。由於異構架構之間的顯著差異（例如 CNN 和 Transformer），直接轉移跨架構知識 presents significant challenges。為消除架構特有信息的影響，巧妙地將教師和學生的中間特徵投射到對齊的邏輯空間中。此外，為利用異構架構中的多樣化知識並為學生提供定制化的知識，引入了教師-學生知識混合機制（KMM）和教師-學生知識評估機制（KEM）。這些機制通過評估異構教師-學生知識之間的可靠性及其差異來實現。在使用多種教師-學生對組在三個主流基準上進行的廣泛實驗顯示，我們的 HeteroAKD 在促進異構架構之間的蒸餾方面優於最先進的 KD 方法。
引用
@article{arxiv.2504.07691,
title = {Distilling Knowledge from Heterogeneous Architectures for Semantic Segmentation},
author = {Yanglin Huang and Kai Hu and Yuan Zhang and Zhineng Chen and Xieping Gao},
journal= {arXiv preprint arXiv:2504.07691},
year = {2025}
}
备注
Accepted to AAAI 2025