复习助学得更好：时序监督知识蒸馏

复习在学习知识时起着重要作用。某一时间点的知识获取可能在以往经验的帮助下受到强烈启发。因此知识增长过程应沿时间维度表现出强相关性。在我们的研究中，发现网络训练期间特征图的演化遵循时间序列性质。适当的时序监督可进一步提升网络训练性能。受此观察启发，我们提出时序监督知识蒸馏（TSKD）。具体而言，我们通过卷积长短期记忆网络（Conv-LSTM）提取学生网络不同训练阶段的时空特征。然后，我们通过动态目标而非静态教师网络特征来训练学生网络。该过程实现了学生网络中旧知识的精炼，并利用其辅助当前学习。大量实验验证了我们的方法相对于现有知识蒸馏方法的有效性和优势，包括各种网络架构和不同任务（图像分类和目标检测）。