G${}^{2}$D：基于梯度引导的多模态学习蒸馏

多模态学习旨在利用来自不同数据模态的信息，以实现更全面的性能。然而，传统的多模态模型常常 suffer from 模态不平衡，一个或几个模态主导模型优化，导致次优的特征表示和对弱模态的低效利用。为此，我们引入梯度引导蒸馏 (G${}^{2}$D)，这是一种知识蒸馏框架，通过融合单模态和多模态目标的自定义构建损失函数来优化多模态模型。G${}^{2}$D进一步在学习过程中包含动态顺序模态优先级 (SMP) 技术，以确保每个模态都引领学习过程，避免更强的模态压倒弱的模态。我们在多个真实世界数据集上验证G${}^{2}$D，表明G${}^{2}$D在训练期间放大了弱模态的重要性，并在分类和回归任务中超越了最新的方法。我们的代码已公开于 https://github.com/rAIson-Lab/G2D。