基于流匹配的精确知识迁移
计算机视觉与模式识别
2024-02-06 v1
摘要
在本文中，我们提出了一种新颖的知识迁移框架，该框架引入连续归一化流以实现渐进式知识转换，并利用多步采样策略实现精确的知识迁移。我们将此框架命名为基于流匹配的知识迁移 (FM-KT)，它可以与任意形式的基于度量的蒸馏方法（例如 vanilla KD、DKD、PKD 和 DIST）以及任意可用架构的元编码器（例如 CNN、MLP 和 Transformer）集成。通过引入随机插值，FM-KD 易于适应任意噪声调度（例如 VP-ODE、VE-ODE、Rectified flow）以进行归一化流路径估计。我们从理论上证明了 FM-KT 的训练目标等价于最小化教师特征图或 logit 负对数似然的上界。此外，FM-KT 可以被视为一种独特的隐式集成方法，能够带来性能提升。通过对 FM-KT 框架进行微调，FM-KT 还可以转化为在线蒸馏框架 OFM-KT，并具有理想的性能提升。通过在 CIFAR-100、ImageNet-1k 和 MS-COCO 数据集上的广泛实验，我们经验性地验证了所提方法在相关比较方法中的可扩展性和 SOTA 性能。
引用
@article{arxiv.2402.02012,
title = {Precise Knowledge Transfer via Flow Matching},
author = {Shitong Shao and Zhiqiang Shen and Linrui Gong and Huanran Chen and Xu Dai},
journal= {arXiv preprint arXiv:2402.02012},
year = {2024}
}