模态聚焦假说：迈向对跨模态知识蒸馏的理解
计算机视觉与模式识别
2023-03-03 v3 机器学习
摘要
跨模态知识蒸馏（KD）将传统知识蒸馏扩展到多模态学习领域，并在各类应用中展现出巨大成功。为实现跨模态的知识迁移，采用某一模态的预训练网络作为教师，为从另一模态学习的学生网络提供监督信号。与先前工作所报告的实证成功形成对比的是，跨模态 KD 的作用机制仍是一个谜。本文对跨模态 KD 进行了透彻理解。我们首先进行两项案例研究，证明 KD 并非跨模态知识迁移中的万能药。随后，我们提出模态维恩图以理解模态关系，并提出模态聚焦假说，揭示跨模态 KD 有效性的决定性因素。在 6 个多模态数据集上的实验结果佐证了我们的假说，诊断了失败案例，并为未来改进跨模态知识迁移指明了方向。
引用
@article{arxiv.2206.06487,
title = {The Modality Focusing Hypothesis: Towards Understanding Crossmodal Knowledge Distillation},
author = {Zihui Xue and Zhengqi Gao and Sucheng Ren and Hang Zhao},
journal= {arXiv preprint arXiv:2206.06487},
year = {2023}
}
备注
Accepted by ICLR 2023 (top-5%). The first three authors contribute equally. Project website: https://zihuixue.github.io/MFH/index.html