面向跨维度网络的希尔伯特蒸馏
计算机视觉与模式识别
2022-11-09 v1 人工智能
摘要
3D 卷积神经网络在处理视频和医学影像等体数据方面展现出优越性能。然而，利用 3D 网络获得的竞争性性能带来了巨大的计算成本，远超 2D 网络。本文提出一种新颖的基于希尔伯特曲线的跨维度蒸馏方法，该方法利用 3D 网络的知识来提升 2D 网络的性能。所提出的希尔伯特蒸馏（HD）方法通过希尔伯特曲线保留结构信息，该曲线将高维（≥2）表示映射到一维连续空间填充曲线。由于蒸馏后的 2D 网络由从维度异构的 3D 特征转换而来的曲线监督，2D 网络在学习嵌入于训练良好的高维表示中的结构信息方面获得了信息丰富的视角。我们进一步提出变长希尔伯特蒸馏（VHD）方法，动态缩短激活特征区域中希尔伯特曲线的步长并延长上下文特征区域中的步长，迫使 2D 网络更多地关注从激活特征中学习。所提算法在两个分类任务上优于当前适用于跨维度蒸馏的 SOTA 蒸馏技术。此外，由所提方法蒸馏出的 2D 网络取得了与原始 3D 网络相竞争的性能，表明轻量级蒸馏 2D 网络有可能替代繁琐的 3D 网络用于实际场景。
引用
@article{arxiv.2211.04031,
title = {Hilbert Distillation for Cross-Dimensionality Networks},
author = {Dian Qin and Haishuai Wang and Zhe Liu and Hongjia Xu and Sheng Zhou and Jiajun Bu},
journal= {arXiv preprint arXiv:2211.04031},
year = {2022}
}
备注
Accepted at NeurIPS 2022