基于互信息的平衡多模态学习

多模态学习日益成为研究的焦点，主要due to其能够整合来自多样化模态的互补信息。然而，模态不平衡——源于数据获取不足和数据质量差异——往往得到不充分的解决。这一问题在生物数据分析中尤为突出，因数据集常有限、获取成本高且本质上在质量上存在异质性。常规的多模态方法通常无法同时发挥跨模态协同作用并有效解决模态冲突。本研究提出一种新型统一框架，旨在利用互信息量化模态之间的相互作用，以解决模态不平衡问题。我们的方案采用平衡的多模态学习策略，包含两个关键阶段：跨模态知识蒸馏 (KD) 和类似多任务的训练范式。在跨模态 KD 预训练阶段，利用较强的模态来增强较弱模态的预测能力。随后，我们的主要训练阶段采用类似多任务的学习机制，基于模态特定的性能指标和跨模态互信息，动态校准梯度贡献。这一方法有效缓解了模态不平衡，从而显著提高了整体多模态模型性能。