通过学习教师模态级 Gram 矩阵的多模态蒸馏
人工智能
2026-05-08 v2 计算机视觉与模式识别
摘要
在多模态知识蒸馏研究背景下，现有方法主要关注仅学习教师最终输出的问题。因此，教师网络与学生网络之间仍存在深层差异。有必要强制学生网络学习教师网络的模态关系信息。为有效利用从教师到学生的知识迁移，采用一种通过建模不同模态间关系信息的新型模态关系蒸馏范式，即学习教师模态级 Gram 矩阵。
引用
@article{arxiv.2112.11447,
title = {Multi-Modality Distillation via Learning the teacher's modality-level Gram Matrix},
author = {Peng Liu},
journal= {arXiv preprint arXiv:2112.11447},
year = {2026}
}
备注
15 pages, 2 figures