多模态学习中知识蒸馏的信息论准则
机器学习
2025-10-16 v1
摘要
多模态数据 availability 的快速增加催生了交叉模态知识蒸馏 (KD) 技术的广泛关注，其中较为丰富的“教师”模态在训练期间将信息传递给较为薄弱的“学生”模态，以提升性能。尽管该方法在各种应用中取得了成功，但跨模态 KD 不总是产生改进的结果，主要源于缺乏可为实践提供指导的理论理解。为弥补这一差距，我们提出了跨模态互补假说 (CCH)：我们认为，当教师表示与学生表示之间的互信息超过学生表示与标签之间的互信息时，跨模态 KD 才有效。我们在联合高斯模型中对 CCH 进行理论验证，并在包括图像、文本、视频、音频和癌症相关 omics 数据在内的多种多模态数据集上进行经验验证。我们的研究建立了一种新的理论框架，用于理解跨模态 KD，并提出基于 CCH 准则的实用指南，以选择最佳教师模态，从而提高较弱模态的性能。
引用
@article{arxiv.2510.13182,
title = {Information-Theoretic Criteria for Knowledge Distillation in Multimodal Learning},
author = {Rongrong Xie and Yizhou Xu and Guido Sanguinetti},
journal= {arXiv preprint arXiv:2510.13182},
year = {2025}
}