基于频率分离的跨模态知识蒸馏
计算机视觉与模式识别
2025-11-26 v1
摘要
知识蒸馏 (KD) 在压缩大型模型和增强小型模型性能方面效果显著。然而，在跨模态场景中（如视觉到语言蒸馏），由于表示在不同模态之间的不一致性，导致知识传递困难。为此，我们提出了基于频率解耦的跨模态知识蒸馏方法，通过利用频率域特征实现跨模态知识的解耦和平衡。我们观察到低频特征在不同模态间表现出高一致性，而高频特征显示出极低的跨模态相似性。因此，我们对这些特征施加不同的损失：在低频域强制严格对齐，在高频域引入松弛对齐。我们还提出了尺度一致性损失以解决模态间分布迁移问题，并采用共享分类器统一特征空间。广泛的实验表明，我们的方法在多个基准数据集上显著优于传统 KD 和最新的跨模态 KD 方法。代码可在 https://github.com/Johumliu/FD-CMKD 获取。
引用
@article{arxiv.2511.19889,
title = {LiMT: A Multi-task Liver Image Benchmark Dataset},
author = {Zhe Liu and Kai Han and Siqi Ma and Yan Zhu and Jun Chen and Chongwen Lyu and Xinyi Qiu and Chengxuan Qian and Yuqing Song and Yi Liu and Liyuan Tian and Yang Ji and Yuefeng Li},
journal= {arXiv preprint arXiv:2511.19889},
year = {2025}
}
备注
IEEE Journal of Biomedical and Health Informatics