高效样本级多模态交互定量化方法

模态之间的相互作用——冗余性、唯一性和协同性——共同决定了多模态信息的构成。理解这些相互作用对于分析多模态系统中的信息动力学至关重要，但其准确的样本级定量化 presents 较大的理论和计算挑战。为此，我们引入了轻量级样本级多模态交互 (Lightweight Sample-wise Multimodal Interaction, LSMI) 估计器，严格基于点信息论。我们首先开发了冗余性估计框架，采用合适的点信息度量量化这种最可分解和可测量的相互作用。基于此，我们提出了一种通用的交互估计方法，采用高效的熵估计，专为连续分布中的样本级估计而设计。在合成数据集和真实数据集上的大量实验验证了 LSMI 的精度和效率。关键是，我们的方法通过样本级方法揭示了多模态数据中细粒度的样本级和类别级动力学，使我们能够实现诸如冗余性感知的样本分区、针对性知识蒸馏和交互感知的模型集成等实际应用。代码已公开于 https://github.com/GeWu-Lab/LSMI_Estimator。