利用拓扑引导改进知识蒸馏
计算机视觉与模式识别
2024-07-09 v1
摘要
深度学习在提取有用特征以解决各种计算机视觉任务方面已显示出其有效性。然而，当数据结构复杂且充满噪声时，捕获有效信息以提升性能变得非常困难。为此，拓扑数据分析（TDA）已被用于推导出有助于提升性能和对扰动鲁棒性的有用表示。尽管TDA有效，但通过TDA提取拓扑特征需要大量计算资源和显著的时间消耗，这成为在小型设备上实现它的关键问题。为了解决这个问题，我们提出了一个名为“基于拓扑引导的知识蒸馏”（TGD）的框架，该框架在图像分类任务的知识蒸馏（KD）中使用拓扑特征。我们利用KD来训练一个优越的轻量级模型，并同时通过多个教师提供拓扑特征。我们引入了一种机制，用于整合来自不同教师的特征，并缩小教师与学生之间的知识差距，这有助于提升性能。我们通过多样化的实证评估证明了我们方法的有效性。
引用
@article{arxiv.2407.05316,
title = {Leveraging Topological Guidance for Improved Knowledge Distillation},
author = {Eun Som Jeon and Rahul Khurana and Aishani Pathak and Pavan Turaga},
journal= {arXiv preprint arXiv:2407.05316},
year = {2024}
}
备注
ICML 2024 Workshop on Geometry-grounded Representation Learning and Generative Modeling