频率对齐知识蒸馏：轻量化时空预测框架 SDKD
机器学习
2025-07-22 v2 人工智能
计算机视觉与模式识别
摘要
时空预测任务（如交通流、燃烧动力学和天气预报）常需复杂模型，且训练效率低、内存消耗大。本文提出一种轻量化框架 Spectral Decoupled Knowledge Distillation（称 SDKD），将复杂教师模型传递的多尺度时空表示传输给更高效的轻量化学生网络。教师模型遵循 encoder-latent evolution-decoder 架构，其中潜在演化模块通过卷积和 Transformer（全局低频建模器）解耦高频细节和低频趋势。然而，多层卷积和反卷积结构导致训练缓慢和高内存占用。为解决此问题，我们提出频率对齐知识蒸馏策略，从教师潜在空间提取多尺度谱特征，包括高频和低频成分，以指导轻量化学生模型捕获局部细粒度变化和全局演化模式。实验结果表明，SDKD 显著提升性能，在 Navier--Stokes 方程数据集上，MSE 降低最高可达 81.3%，MAE 降低 52.3%。该框架有效捕获高频变化和长期趋势，同时降低计算复杂度。我们的代码已公开于 https://github.com/itsnotacie/SDKD。
关键词
引用
@article{arxiv.2507.02939,
title = {Frequency-Aligned Knowledge Distillation for Lightweight Spatiotemporal Forecasting},
author = {Yuqi Li and Chuanguang Yang and Hansheng Zeng and Zeyu Dong and Zhulin An and Yongjun Xu and Yingli Tian and Hao Wu},
journal= {arXiv preprint arXiv:2507.02939},
year = {2025}
}
备注
Accepted by ICCV-2025, 11 pages