通过知识蒸馏改进神经常微分方程
计算机视觉与模式识别
2024-01-11 v1 机器学习
摘要
神经常微分方程（Neural ODEs）利用神经网络指定的常微分方程构造隐藏单元的连续动力学，在许多任务上展现出有前景的结果。然而，Neural ODEs 在图像识别任务上仍表现不佳。可能的原因是 Neural ODEs 中常用的独热编码向量无法提供充足的监督信息。我们提出一种基于知识蒸馏的新训练方法，以构造更强大且鲁棒的适配图像识别任务的 Neural ODEs。具体地，我们将 Neural ODEs 的训练建模为师生学习过程，其中提出以 ResNets 作为教师模型提供更丰富的监督信息。实验结果表明，新训练方式在 CIFAR10 上可将 Neural ODEs 的分类准确率提升 24%，在 SVHN 上提升 5%。此外，我们还定量讨论了知识蒸馏与 Neural ODEs 中的时间跨度对对抗样本鲁棒性的影响。实验分析得出结论：引入知识蒸馏并增大时间跨度可提升 Neural ODEs 对对抗样本的鲁棒性。
引用
@article{arxiv.2203.05103,
title = {Improving Neural ODEs via Knowledge Distillation},
author = {Haoyu Chu and Shikui Wei and Qiming Lu and Yao Zhao},
journal= {arXiv preprint arXiv:2203.05103},
year = {2024}
}