非目标发散假设：理解跨模态知识蒸馏中的领域差距
计算机视觉与模式识别
2024-09-05 v1
摘要
与单模态知识蒸馏相比，跨模态知识蒸馏因模态之间存在领域差距而面临更严重的挑战。尽管已有各种方法提出了各种解决方案来克服这些挑战，但关于领域差距如何影响跨模态知识蒸馏的研究仍有限。本文对此问题进行深入分析与评估。我们首先引入非目标发散假设（Non-Target Divergence Hypothesis, NTDH），以揭示领域差距对跨模态知识蒸馏的影响。我们的关键发现表明，模态之间的领域差距导致非目标类别分布差异，差异越小，跨模态知识蒸馏的性能越好。随后，我们基于Vapnik-Chervonenkis（VC）理论，推导了跨模态知识蒸馏近似误差的上界和下界，从而在理论上验证了NTDH。最后，在五个跨模态数据集上进行实验，进一步确认了NTDH的有效性、普遍性和适用性。
引用
@article{arxiv.2409.02438,
title = {Non-target Divergence Hypothesis: Toward Understanding Domain Gaps in Cross-Modal Knowledge Distillation},
author = {Yilong Chen and Zongyi Xu and Xiaoshui Huang and Shanshan Zhao and Xinqi Jiang and Xinyu Gao and Xinbo Gao},
journal= {arXiv preprint arXiv:2409.02438},
year = {2024}
}