与静图共舞：基于静-动解耦的视频蒸馏

近来，数据集蒸馏为高效机器学习铺平了道路，尤其针对图像数据集。然而，具有独有时间维度的视频蒸馏仍是一个未被充分探索的领域。在本工作中，我们提供了视频蒸馏的首次系统性研究，并引入了一种对时间压缩进行分类的法系。我们的研究揭示，时间信息在蒸馏过程中通常未被良好学习，且合成数据的时间维度贡献甚微。这些观察促使我们提出将视频中动态与静态信息解耦的统一框架。它首先将视频蒸馏为静图作为静态记忆，随后用可学习的动态记忆块补偿动态与运动信息。我们的方法在不同规模的视频数据集上以显著更小的存储开销取得了最先进性能。我们的代码发布于 https://github.com/yuz1wan/video_distillation。